机器学习|随机变量的方差（离散型、连续型）|10mins入门|概统学习笔记（九）

随机变量的方差

• 背景：随机变量的数学期望体现了随机变量取值的平均水平，而随机变量的方差度量了随机变量取值在其中心附近（数学期望）的离散程度

• 定义：设X是一个随机变量，若$E[(X-E(X){]}^2<\infty$,则称
  $$D(X)=E[X-E(X){]}^2$$
  为X的方差。采用平方是为了保证一切差值$X-E(X)$都起正面的作用。

  方差的算术平方根$\sqrt{D(X)}$称为标准差。

• 意义：

  • 若X的取值比较集中，则方差较小；反之，则方差较大
  • 若方差$D(x)=0$，则r.v X以概率1取常数值

• 实质：方差是随机变量X的函数$g(X)=[X-E(X){]}^2$的数学期望
  $$D(X)=\{\begin{array}{l}{\sum }_{k=1}^{\infty }[x_k-E(X){]}^2{p}_k,X为离散型\\ {\int }_{-\infty }^{\infty }[x_k-E(X){]}^{2}f(x)dx,X为连续型\end{array}$$
  当X为离散型时，$P(X=x_k)=p_k$

  当X为连续型时，$X$~$f(x)$

• 计算方差的简化方式

  $D(X)=E(X^2)-[E(X){]}^2$

  证明：
  D ( X ) = E [ X − E ( X ) ] 2 = E { X 2 − 2 X E ( X ) + [ E ( X ) ] 2 } = E ( X 2 ) − 2 [ E ( X ) ] 2 + [ E ( X ) ] 2 = E ( X 2 ) − [ E ( X ) ] 2 D(X)=E[X-E(X)]^2\\=E\{X^2-2XE(X)+[E(X)]^2\} \\=E(X^2)-2[E(X)]^2+[E(X)]^2 \\=E(X^2)-[E(X)]^2 D(X)=E[X−E(X)]2=E{X2−2XE(X)+[E(X)]2}=E(X2)−2[E(X)]2+[E(X)]2=E(X2)−[E(X)]2

• 方差的性质

  1. 设C是常数，则$D(C)=0$

  2. 若C是常数，则$D(CX)=C^{2}D(X)$

  3. 若$X_1$与$X_2$独立，则

     $D(X_1+X_2)=D(X_1)+D(X_2)$

     可推广为：若$X_1,X_2,...,X_n$相互独立，则

     $D[{\sum }_{i=1}^n{X}_i]={\sum }_{i=1}^{n}D(X_i)$

     $D[{\sum }_{i=1}^n{C}_i{X}_i]={\sum }_{i=1}^n{C}_i^{2}D(X_i)$