期望、方差、协方差性质总结与证明

本文力求涵盖较全面的性质，同时即便是最简单的性质本文也会给出证明。另外本文的内容有大量参考书本和网络上的相关知识，就不再一一列出来源。

记号和说明

本文将离散型随机变量简写为DRV（discrete random variable），将连续型随机变量简写为CRV（continuous random variable）。

$X$、$Y$、$X_1$、$X_2$表示随机变量，$c$表示常数。

本文的无穷符号没有区分正无穷与负无穷，均用$\infty$表示，可以根据其在积分号中的位置自行判断。
此外，在介绍性质之前，本文没有对期望、方差等的定义进行介绍，但这也是需要在阅读本文之前了解的。

期望

性质1

对于常数$c$，$E(c)=c$

证明

根据期望的基本定义，$E(c)=cP(X=c)=c$

性质2（线性性）

对于随机变量$X$，常数$c$，$E(aX+b)=aE(X)+b$

证明

若$X$是DRV，根据期望的基本定义，$E(aX+b)={\sum }_i^{}(a{x}_i+b)P(x_i)=a{\sum }_i^{}{x}_{i}P(x_i)+b=aE(X)+b$

若$X$是CRV，根据期望的基本定义，$E(aX+b)={\int }_{\infty }^{\infty }(ax+b)f(x)dx=a{\int }_{\infty }^{\infty }xf(x)dx+b=aE(X)+b$

在之后的证明中就不再将$X$是DRV和$X$是CRV的情况都给出。

性质3（可加性）

对于随机变量$X$和随机变量$Y$，$E(X\pm Y)=E(X)\pm E(Y)$

证明

下面仅以$+$为例进行证明。

若$X$和$Y$是DRV，根据期望的基本定义，$E(X+Y)={\sum }_i^{}{\sum }_j^{}(x_i+y_j)P(x_i)P(y_j)={\sum }_i^{}{\sum }_j^{}{x}_{i}P(x_i)P(y_j)+{\sum }_i^{}{\sum }_j^{}{y}_{j}P(x_i)P(y_j)$

$={\sum }_i^{}{x}_{i}P(x_i){\sum }_j^{}P(y_j)+{\sum }_j^{}{y}_{j}P(y_j){\sum }_i^{}P(x_i)={\sum }_i^{}(x_i)P(x_i)+{\sum }_i^{}(y_i)P(y_i)=E(X)+E(Y)$

推论

$E({\sum }_i^{}{X}_i)={\sum }_i^{}E(X_i)$

性质4（可乘性）

对于随件变量$X$和随件变量$Y$，若$X$和$Y$相互独立，$E(XY)=E(X)E(Y)$，反之不然

证明

$E(XY)={\int }_{\infty }^{\infty }{\int }_{\infty }^{\infty }xyf(x,y)dxdy={\int }_{\infty }^{\infty }{\int }_{\infty }^{\infty }xyg(x)h(y)dxdy={\int }_{\infty }^{\infty }xg(x)dx{\int }_{\infty }^{\infty }yh(y)dy=E(X)E(Y)$

推论

$X_i$相互独立，$E({\prod }_i^{}{X}_i)={\prod }_i^{}E(X_i)$

性质5（单调性）

若随机变量$X$和随机变量$Y$满足$X\ge Y$，则$E(X)\ge E(Y)$

（$\le $同理）

证明

$E(X)={\int }_{\infty }^{\infty }xf(x)dx\ge {\int }_{\infty }^{\infty }yg(x)dx={\int }_{\infty }^{\infty }yg(y)dy=E(Y)$

推论

特别的，若常数$c$满足$X\ge c$，则$E(X)\ge c$

方差

性质1

$D(X)=E\left(X^2\right)-(EX{)}^2$

证明

$D(X)=E\left[X^2-2(EX)X+(EX{)}^2\right]=E\left(X^2\right)-(EX{)}^2$

性质2（非负性）

$D(c)=0$，$D(X)\ge 0$

证明

$D(c)=E(c-E(c){)}^2=E(c-c{)}^2=E(0)=0$

$D(x)=E(x-E(x){)}^2\ge E(0)=0$（期望的单调性）

性质3

$D(X)=0\iff P(X=c)=1$

证明

必要性：

$D(X)=E\left(X^2\right)-(EX{)}^2=c^2-c^2=0$

充分性：

由于$D(X)=E(X-E(X){)}^2=0$

可得$X=E(X)$，即$P(X=E(X))=1$

性质4

$D(aX+b)=a^{2}D(X)$

证明

$D(aX+b)=E[aX+b-E(aX+b){]}^2=E[(aX+b-aE(X)-b){]}^2=E[aX-aE(X){]}^2=a^{2}E(X-E(X))=a^{2}D(X)$

性质5

若$X$和$Y$相互独立，$D(X_1+X_2)=D(X_1)+D(X_2)$

证明

$D(X_1+X_2)=E[(X_1+X_2-E(X_1+X_2){)}^2]=E[(X_1-E(X_1){)}^2]+E[(X_2-E(X_2){)}^2]+2E[(X_1-E(X_1))(X_2-E(X_2))]$

$=D(X_1)+D(X_2)+2E(X_1-E(X_1))E(X_2-E(X_2))=D(X_1)+D(X_2)+2[E(X_1)-E(X_1)][E(X_2)-E(X_2)]$

$=D(X_1)+D(X_2)$

推论

多个随机变量独立时也成立

性质6

$D(X)\le E\left[(X-c{)}^2\right]$

证明

令函数$g(c)=E\left[(X-c{)}^2\right]=E(X^2)-2cE(X)+c^2$

$g(c)$是凸函数，对$g(c)$求导得$g^{\prime }(c)=2c-2E(X)$

故$g^{\prime }(c)=0\iff c=E(X)$，即当$c=E(X)$时$g(c)$取到最小值

故$D(X)=E[X-E(X){]}^2\le E\left[(X-c{)}^2\right]$

协方差

性质1

$Cov(X,Y)=E(XY)-(EX)(EY)$

证明

$Cov(X,Y)=E[(X-EX)(Y-EY)]=E[XY-(EX)Y-X(EY)+(EX)(EY)]=E(XY)-(EX)(EY)$

性质2

$\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$，$\mathrm{Cov}(X,X)=D(X)$

证明

仅证$\mathrm{Cov}(X,X)=D(X)$

$Cov(X,Y)=E[(X-EX)(X-EX)]=E[(X-EX{)}^2]=D(X)$

性质3

$\mathrm{Cov}(aX,bY)=ab\mathrm{Cov}(X,Y)$

证明

$\mathrm{Cov}(aX,bY)=E[(aX-E(aX))(bY-E(bY))]=abE[(X-E(X))(Y-E(Y))]=ab\mathrm{Cov}(X,Y)$

性质4

$\mathrm{Cov}(X,b)=0$

证明

$\mathrm{Cov}(X,b)=E[(X-EX)(b-Eb)]=0$

性质5

$\mathrm{Cov}\left(X_1\pm X_2,Y\right)=\mathrm{Cov}\left(X_1,Y\right)\pm \mathrm{Cov}\left(X_2,Y\right)$

证明

下面仅以$+$为例进行证明。

$\mathrm{Cov}\left(X_1+X_2,Y\right)=E[(X_1+X_2-E(X_1+X_2))(Y-E(Y))]=E[(X_1-E(X_1))(Y-E(Y))]+E[(X_2-E(X_2))(Y-E(Y))]$

$=\mathrm{Cov}\left(X_1,Y\right)+\mathrm{Cov}\left(X_2,Y\right)$

性质6

$D(X_1+X_2)=D(X_1)+D(X_2)+2Cov(X_1,X_2)$

证明

$D(X_1+X_2)=E[(X_1+X_2-E(X_1+X_2){)}^2]=E[(X_1-E(X_1){)}^2]+E[(X_2-E(X_2){)}^2]+2E[(X_1-E(X_1))(X_2-E(X_2))]$

$=D(X_1)+D(X_2)+2E(X_1-E(X_1))E(X_2-E(X_2))=D(X_1)+D(X_2)+2[E(X_1)-E(X_1)][E(X_2)-E(X_2)]$

$=D(X_1)+D(X_2)+2Cov(X_1,X_2)$

推论

$D\left({\sum }_{i=1}^n{\lambda }_i{X}_i\right)={\sum }_{i=1}^n{\lambda }_i^{2}D{X}_i+2{\sum }_{i<j}{\lambda }_i{\lambda }_j\mathrm{Cov}\left(X_i,X_j\right)$

$D\left({\sum }_{i=1}^n{\lambda }_i{X}_i\right)={\sum }_i{\sum }_j{\lambda }_i{\lambda }_j\mathrm{Cov}\left(X_i,X_j\right)$