概率论：3.3期望与方差

本课程来自 深度之眼，部分截图来自课程视频。
【第三章 概率论】3.3期望与方差
在线LaTeX公式编辑器

任务详解：

这节课主要介绍了期望与方差，协方差，矩估计等知识点。
掌握目标：
1、掌握期望和方差的意义，以及常用离散或连续分布期望方差的计算
2、掌握期望和方差的性质
3、掌握协方差，相关系数，协方差矩阵

1.期望与方差

期望

连续型（求积分）：
$$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$$
离散型（求和）：
$$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k$$
下面来看几个典型密度函数的期望：

1、均匀分布：

$$f(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b\\ 0,其他\end{array}$$
$${\int }_a^b\frac{1}{b-a}xdx=\frac{1}{b-a}\frac{1}{2}{x}^2{|}_a^b=\frac{1}{b-a}\frac{1}{2}(b^2-a^2)=\frac{a+b}{2}$$

2、指数分布

$$f(x)=\{\begin{array}{l}\frac{1}{\theta }{e}^{-x/\theta }\\ 0,其他\end{array}$$
$${\int }_0^{+\infty }\frac{1}{\theta }{e}^{-x/\theta }\cdot xdx$$
用换元法：
$$=-{\int }_0^{+\infty }xd{e}^{-x/\theta }$$
用分部积分：
$$-[e^{-x/\theta }x{|}_0^{+\infty }-{\int }_0^{+\infty }{e}^{-x/\theta }dx]$$
第一项根据洛必达法则等于0，则第二项：
$$={\int }_0^{+\infty }{e}^{-x/\theta }dx=(-\theta e^{-x/\theta }{)}_0^{+\infty }=0-(-\theta e^0)=\theta$$

3、搞屎分布

$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<\infty$$
期望为$\mu$
下面看几个离散函数的期望：

1.0-1分布

X	0	1
pk	1-p	p

根据定义求期望：：
$$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k=0(1-p)+1\times p=p$$

2.伯努利（二项）分布

P { X = k } = ( n k ) p k q n − k , k = 0 , 1 , 2 , ⋯   , n P\{X=k\}=\binom{n}{k}p^kq^{n-k},k=0,1,2,\cdots,n P{X=k}=(kn​)pkqn−k,k=0,1,2,⋯,n
根据定义求期望：
$$E(X)=\sum _{k=0}^n{x}_k{p}_k=k\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k{q}^{n-k}$$
---------------------------------------------------------割你没商量1------------------------------------------------------
二项分布的$\left(\genfrac{}{}{0ex}{}{n}{k}\right)=\frac{n!}{k!(n-k)!}$
$$k\left(\genfrac{}{}{0ex}{}{n}{k}\right)=k\frac{n!}{k!(n-k)!}=\frac{n(n-1)!}{(k-1)!(n-k)!}=n\left(\genfrac{}{}{0ex}{}{n-1}{k-1}\right)$$
---------------------------------------------------------割你没商量1------------------------------------------------------
$$E(X)=\sum _{k=1}^{n}n\left(\genfrac{}{}{0ex}{}{n-1}{k-1}\right)p{p}^{k-1}{q}^{n-k}=np\sum _{k=1}^n\left(\genfrac{}{}{0ex}{}{n-1}{k-1}\right)p^{k-1}{q}^{n-k}$$
令$\bar{k}=k-1$，则有：
$$E(X)=np\sum _{\bar{k}=0}^{n-1}\left(\genfrac{}{}{0ex}{}{n-1}{\bar{k}}\right)p^{\bar{k}}{q}^{(n-1)-\bar{k}}$$
用什么符号来表示公式中的变量是无所谓的，把$\bar{k}$换成k
$$E(X)=np\sum _{k=0}^{n-1}\left(\genfrac{}{}{0ex}{}{n-1}{k}\right)p^k{q}^{(n-1)-k}$$
求和部分实际上是$(p+q{)}^{n-1}$的二项式展开，且p+q=1，故：
$$E(X)=np(p+q{)}^{n-1}=np$$

3.泊松分布

P { X = k } = λ k e − λ k ! , k = 0 , 1 , 2 , ⋯   , λ > 0 P\{X=k\}=\frac{\lambda^ke^{-\lambda}}{k!},k=0,1,2,\cdots,\lambda>0 P{X=k}=k!λke−λ​,k=0,1,2,⋯,λ>0
根据定义求期望：
$$E(X)=\sum _{k=0}^{+\infty }{x}_k{p}_k=\sum _{k=0}^{+\infty }k\frac{{\lambda }^k{e}^{-\lambda }}{k!}$$
由于k=0这项是0，所以从1开始算：
$$E(X)=\sum _{k=1}^{+\infty }\frac{{\lambda }^k{e}^{-\lambda }}{(k-1)!}$$
令$\bar{k}=k-1$，则有：
$$E(X)=\sum _{\bar{k}=0}^{+\infty }\frac{{\lambda }^{\bar{k}+1}{e}^{-\lambda }}{\bar{k}!}=\lambda \sum _{\bar{k}=0}^{+\infty }\frac{{\lambda }^{\bar{k}}{e}^{-\lambda }}{\bar{k}!}$$
用什么符号来表示公式中的变量是无所谓的，把$\bar{k}$换成k
$$E(X)=\lambda \sum _{k=0}^{+\infty }\frac{{\lambda }^k{e}^{-\lambda }}{k!}$$
求和部分根据上一节的泊松分布可知，是等于1的。
$$E(X)=\lambda$$

期望的性质

1°设$C$是常数，则有$E(C)=C$.
2°设$X$是一个随机变量，$C$是常数，则有
$$E(CX)=CE(X)$$.
3°设$X，Y$是两个随机变量，则有
$$E(X+Y)=E(X)+E(Y)$$.
这一性质可以推广到任意有限个随机变量之和的情况.
4°设$X，Y$是相互独立的随机变量，则有
$$E(XY)=E(X)E(Y)$$.
这一性质可以推广到任意有限个相互独立的随机变量之积的情况.

方差

方差的公式

说人话：每一个样本到期望的距离的平方
E { [ X − E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X−E(X)]2}
来度量随机变量X与其均值$E(X)$的偏离程度.
定义设$X$是一个随机恋量，若 E { [ X − E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X−E(X)]2}在在，则称 E { [ X − E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X−E(X)]2}为$X$的方差，记为$D(X)$或$Var(X)$，即
D ( X ) = V a r ( X ) = E { [ X − E ( X ) ] 2 } D(X)=Var(X)=E\{[X-E(X)]^2\} D(X)=Var(X)=E{[X−E(X)]2}
在应用上还引入量$sqrtD(X)=$，记为$\sigma (X)$，称为标准差或均方差。
对于离散变量，方差计算公式为：
$$D(X)=\sum _{k=1}^{\infty }[x_k-E(X){]}^2{p}_k$$
如果把${\sum }_{k=1}^{\infty }[x_k-E(X){]}^2$看做一个随机变量，则$D(X)$实际上可以看做是求期望。
对于连续变量，方差计算公式为：
$$D(X)={\int }_{-\infty }^{+\infty }[x_k-E(X){]}^{2}f(x)dx$$
看方差公式可以知道，欲求方差先求期望，貌似好麻烦，来看看怎么简化：
D ( X ) = E { [ X − E ( X ) ] 2 } = E { X 2 − 2 X E ( X ) + [ E ( X ) ] 2 } D(X)=E\{[X-E(X)]^2\}=E\{X^2-2XE(X)+[E(X)]^2\} D(X)=E{[X−E(X)]2}=E{X2−2XE(X)+[E(X)]2}
根据期望的性质：
$$D(X)=E(X^2)-2E(XE(X))+E([E(X){]}^2)$$
---------------------------------------------------------割你没商量2------------------------------------------------------
$2E(XE(X))$中$E(X)$是一个常数，所以根据期望的性质3°可以放到外面：$2E(X)E(X)$
$E([E(X){]}^2)$中$E(X)$是一个常数，常数的期望就是它自己：$[E(X){]}^2$
---------------------------------------------------------割你没商量2------------------------------------------------------
$$\begin{array}{rl}D(X)=& E(X^2)-2E(X)E(X)+[E(X){]}^2\\ =& E(X^2)-2[E(X){]}^2+[E(X){]}^2\\ =& E(X^2)-[E(X){]}^2\end{array}$$

常见分布的方差

---------------------------------------------------------割你没商量3------------------------------------------------------
例3泊松分布设随机变量$X\sim \pi (\lambda )$，求$D(X)$.
解随机变量X的分布律为
P { X = k } = λ k e − λ k ! , k = 0 , 1 , 2 , ⋯   , λ > 0 P\{X=k\}=\frac{\lambda^ke^{-\lambda}}{k!},k=0,1,2,\cdots,\lambda>0 P{X=k}=k!λke−λ​,k=0,1,2,⋯,λ>0
这个是泊松分布，上面算过，其$E(X)=\lambda$，而
$$\begin{array}{rl}E(X^2)=& \sum _{k=0}^{\infty }{k}^2\frac{{\lambda }^k{e}^{-\lambda }}{k!}=\sum _{k=1}^{\infty }k\frac{{\lambda }^k{e}^{-\lambda }}{(k-1)!}\\ =& \sum _{k=1}^{\infty }(k-1+1)\frac{{\lambda }^k{e}^{-\lambda }}{(k-1)!}\\ =& \sum _{k=1}^{\infty }(k-1)\frac{{\lambda }^k{e}^{-\lambda }}{(k-1)!}+\sum _{k=1}^{\infty }\frac{{\lambda }^k{e}^{-\lambda }}{(k-1)!}\end{array}$$
后面一项把一个$\lambda$提出来，$e^{-\lambda }$和k无关，也可以提出来，然后根据泊松分布计算过的，最后等于$\lambda$：
$$\sum _{k=1}^{\infty }\frac{{\lambda }^k{e}^{-\lambda }}{(k-1)!}=\lambda e^{-\lambda }\sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}=\lambda$$
前面一项，可以把(k-1)约掉一项，然后变成：
$$\sum _{k=1}^{\infty }(k-1)\frac{{\lambda }^k{e}^{-\lambda }}{(k-1)!}=\sum _{k=2}^{\infty }\frac{{\lambda }^k{e}^{-\lambda }}{(k-2)!}$$
把一个${\lambda }^2$提出来，$e^{-\lambda }$和k无关，也可以提出来：
$$={\lambda }^2{e}^{-\lambda }\sum _{k=2}^{\infty }\frac{{\lambda }^{k-2}}{(k-2)!}$$
令$\bar{k}=k-2$：
$$={\lambda }^2{e}^{-\lambda }\sum _{\bar{k}=0}^{\infty }\frac{{\lambda }^{\bar{k}}}{\bar{k}!}={\lambda }^2{e}^{-\lambda }{e}^{\lambda }={\lambda }^2$$
所以：
$$E(X^2)={\lambda }^2+\lambda$$
所以，方差：
$$D(X)=E(X^2)-[E(X){]}^2={\lambda }^2+\lambda -(\lambda {)}^2=\lambda$$

例4均匀分布：设随机变量$X\sim U(a,b)$，求$D(X)$.
$$f(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b\\ 0,其他\end{array}$$
均匀分布的期望已经算出来过了：
$$E(X)=\frac{a+b}{2}$$
方差：
$$D(X)=E(X^2)-[E(X){]}^2={\int }_a^b{x}^2\frac{1}{b-a}dx-(\frac{a+b}{2}{)}^2=\frac{(b-a{)}^2}{12}$$

指数分布的例子：

搞屎分布的方差是${\sigma }^2$
---------------------------------------------------------割你没商量3------------------------------------------------------

方差的常用性质

1°设$C$是常数，则$D(C)=0$.
2°设$X$是随机变量，$C$是常数，则有
$$D(CX)=C^{2}D(X)，D(X+C)=D(X)$$
3°设$X，Y$是两个随机变量，则有
D ( X + Y ) = D ( X ) + D ( Y ) + 2 E { ( X − E ( X ) ) ( Y − E ( Y ) ) } . D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}. D(X+Y)=D(X)+D(Y)+2E{(X−E(X))(Y−E(Y))}.
特别，若$X，Y$相互独立，则有
$$D(X+Y)=D(X)+D(Y).$$
这一性质可以推广到任意有限多个相互独立的随机变量之和的情况.
4°$D(X)=0$的充要条件是$X$以概率1取常数$E(X)$，即
P { X = E ( X ) } = 1. P\{X=E(X)\}=1. P{X=E(X)}=1.

2.协方差

如果两个随机变量X和Y是相互独立的，则
E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = 0 E\{[X-E(X)][Y-E(Y)]\}=0 E{[X−E(X)][Y−E(Y)]}=0
---------------------------------------------------------割你没商量4------------------------------------------------------
证明：
E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = E { X Y − X E ( Y ) − Y E ( X ) + E ( X ) E ( Y ) } = E ( X Y ) − E ( X ) E ( Y ) − E ( Y ) E ( X ) + E ( X ) E ( Y ) = E ( X Y ) − E ( X ) E ( Y ) \begin{aligned}&E\{[X-E(X)][Y-E(Y)]\}\\ =&E\{XY-XE(Y)-YE(X)+E(X)E(Y)\}\\ =&E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)\\ =&E(XY)-E(X)E(Y) \end{aligned} ===​E{[X−E(X)][Y−E(Y)]}E{XY−XE(Y)−YE(X)+E(X)E(Y)}E(XY)−E(X)E(Y)−E(Y)E(X)+E(X)E(Y)E(XY)−E(X)E(Y)​
若X和Y是相互独立的，$E(XY)=E(X)E(Y)$， E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = 0 E\{[X-E(X)][Y-E(Y)]\}=0 E{[X−E(X)][Y−E(Y)]}=0得证。
---------------------------------------------------------割你没商量4------------------------------------------------------
当 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } ≠ 0 E\{[X-E(X)][Y-E(Y)]\}\neq0 E{[X−E(X)][Y−E(Y)]}​=0时，X和Y不相互独立，而是存在一定关系。
定义： E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = 0 E\{[X-E(X)][Y-E(Y)]\}=0 E{[X−E(X)][Y−E(Y)]}=0称为随机变量X和Y的协方差，记为：$Cov(X,Y)$，即：
C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}
协方差常用公式：
$$Cov(X,Y)=Cov(Y,X)$$
$$Cov(X,X)=D(X).Cov(Y,Y)=D(Y)$$
$$Cov(X+Y)=D(X)+D(Y)+2Cov(X,Y)$$
$$Cov(X,Y)=E(XY)-E(X)E(Y)$$
协方差常见性质：
1°$Cov(aX,bY)=abCov(X,Y)$，a，b是常数
2°$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

相关系数

$${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
称为随机变量X与Y的相关系数。

定理：
1°$$|{\rho }_{XY}|\le 1$$
2°${\rho }_{XY}$越接近于1，X和Y相关性越强，${\rho }_{XY}=0$表示X和Y没有相关性，是相互独立的。${\rho }_{XY}=\pm 1$，则X和Y是线性关系： P { Y = a + b X = 1 } P\{Y=a+bX=1\} P{Y=a+bX=1}。

协方差矩阵

二维随机变量$(X_1,X_2)$有四个二阶中心矩（设它们都存在），分别记为
c 11 = E { [ X 1 − E ( X 1 ) ] 2 } c 12 = E { [ X 1 − E ( X 1 ) ] [ X 2 − E ( X 2 ) ] } c 21 = E { [ X 2 − E ( X 2 ) ] [ X 1 − E ( X 1 ) ] } c 22 = E { [ X 2 − E ( X 2 ) ] 2 } \begin{aligned}c_{11}=&E\{[X_1-E(X_1)]^2\}\\ c_{12}=&E\{[X_1-E(X_1)][X_2-E(X_2)]\}\\ c_{21}=&E\{[X_2-E(X_2)][X_1-E(X_1)]\}\\ c_{22}=&E\{[X_2-E(X_2)]^2\} \end{aligned} c11​=c12​=c21​=c22​=​E{[X1​−E(X1​)]2}E{[X1​−E(X1​)][X2​−E(X2​)]}E{[X2​−E(X2​)][X1​−E(X1​)]}E{[X2​−E(X2​)]2}​
$c_{11},c_{22}$分别是$X_1,X_2$的方差，$c_{12}=c_{21}$是$X_1,X_2$的协方差
将它们排成矩阵的形式：
$$\left[\begin{array}{cc}{c}_{11}& c_{12}\\ c_{21}& c_{22}\end{array}\right]$$
这个矩阵称为随机变量$(X_1,X_2)$的协方差矩阵
设n维随机变量$(X_1,X_2,\dots ,X_n)$的二阶混合中心矩
c i j = C o v ( X i , X j ) = E { [ X i − E ( X i ) ] [ X j − E ( X j ) ] } , i , j = 1 , 2 , . . . , n c_{ij}=Cov(X_i,X_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\},i,j=1,2,...,n cij​=Cov(Xi​,Xj​)=E{[Xi​−E(Xi​)][Xj​−E(Xj​)]},i,j=1,2,...,n
都存在，则称矩阵：
$$C={\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& & ⋮\\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right]}_{n\times n}$$
为n维随机变量$(X_1,X_2,\dots ,X_n)$的协方差矩阵，由于$c_{ij}=c_{ji},i\ne j,i,j=1,2,...,n$，因此矩阵C是一个对称矩阵。

n维正态随机变量的概率密度

引入列矩阵
$$X=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$
$$\mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_n\end{array}\right]=\left[\begin{array}{c}E(X_1)\\ E(X_2)\\ ⋮\\ E(X_n)\end{array}\right]$$
n维正态随机变量$(X_1,X_2,\dots ,X_n)$的概率密度定义为：

其中C为$(X_1,X_2,\dots ,X_n)$的协方差矩阵。