09.第三章 数字特征与特征函数(2)

第三章 数字特征与特征函数(2)

1.方差的计算与性质

方差是另一种数字特征，由于均值反映的是取值的集中点，但是对于同样均值的随机变量，其集中程度可能不同，有的随机变量分布比较分散、有的则比较集中。为了反映数据关于中心的偏离程度，引入期望为
$$D\xi =E(\xi -E\xi {)}^2.$$
显然，一个随机变量如果存在方差，则必然存在期望。这里的$\xi -E\xi$代表随机变量偏离其中心的程度，如果不加平方，则随机变量的正偏离与负偏离相互抵消，加了平方后偏离总为正值，故$D\xi \ge 0$是恒成立的。令$a=E\xi$，则
$$D\xi =E(\xi -a{)}^2=E({\xi }^2-2\xi +a^2)=E{\xi }^2-2aE\xi +a^2=E{\xi }^2-a^2.$$
就得到了$D\xi =E{\xi }^2-(E\xi {)}^2$，这个公式是用来计算方差的简便公式，相对于直接应用方差的计算公式$D\xi ={\int }_{-\infty }^{\infty }(x-E\xi {)}^{2}dF(x)$而言，只需要计算期望和二阶矩$E{\xi }^2={\int }_{-\infty }^{\infty }{x}^{2}dF(x)$。

关于方差最重要的不等式是Chebyshev不等式，它的形式如下：
$$P(|\xi -E\xi |\ge ϵ)\le \frac{D\xi }{{ϵ}^2}.$$
这个式子的重要性在第四章大数定律中体现，暂时用不上，但它的证明方法——二次放大，有一定代表性。
$$\begin{array}{rl}P(|\xi -E\xi |\ge ϵ)=& {\int }_{|x-E\xi |\ge ϵ}dF(x)\\ \le & {\int }_{|x-E\xi |\ge ϵ}\frac{|x-E\xi {|}^2}{{ϵ}^2}dF(x)\\ =& {\int }_{|x-E\xi |\ge ϵ}\frac{(x-E\xi {)}^2}{{ϵ}^2}dF(x)\\ \le & \frac{1}{{ϵ}^2}{\int }_{-\infty }^{\infty }(x-E\xi {)}^{2}dF(x)\\ =& \frac{D\xi }{{ϵ}^2}.\end{array}$$
还有关于方差的其他性质，重要的是线性计算性质。

1. $D\xi =0$的充要条件是$P(\xi =c)=1$，即最多存在一个0概率集，使得$\xi$不为定常数。

2. 对于常数$c,d$，有$D(c\xi +d)=c^{2}D\xi$。这说明尺度系数对方差的影响是二次的，而常数偏离对方差没有影响（因为不改变数据的集中程度）。

   由于$D\xi =E{\xi }^2-(E\xi {)}^2$，可以看到方差与期望的量纲不同，因此定义标准差为$\sqrt{D\xi }$，它的量纲与$E\xi$相同，这也解释了为什么尺度系数对方差影响是二次的。

3. 期望与均方误差：$\forall c\ne E\xi ,D\xi =E(\xi -E\xi {)}^2<E(\xi -c{)}^2$，也就是说，期望在均方误差意义下是随机变量的最佳常数预测。

   对于随机变量的最佳变量预测也与期望有关，对于$E{\eta }^2<\infty$的随机变量$\eta$，给定一个预测随机变量$\xi$，令$m(\xi )=E(\eta |\xi )$，则对任何实函数有$E(\eta -m(\xi ){)}^2<E(\eta -g(\xi ){)}^2$，即$E(\eta |\xi )$是对$\eta$在均方误差意义下的最佳预测。显然，最佳变量预测优于最佳常数预测。

4. 对于独立随机变量列${\xi }_1,\cdots ,{\xi }_n$，有$D(\sum _{i=1}^n{\xi }_i)=\sum _{i=1}^{n}D{\xi }_i$，也就是说独立随机变量的方差具有可拆分性。注意，只有针对独立随机变量才成立！对非独立的随机变量，将由其他的公式计算。

标准化：如果随机变量的期望与方差都存在，分别记为$E\xi =a,D\xi ={\sigma }^2$，则将
$${\xi }^{\ast }=\frac{\xi -a}{\sigma }$$
称为随机变量$\xi$的标准化。标准化的重要意义在于，它将随机变量$\xi$通过线性变换转化为期望为0，方差为1的同类型随机变量${\xi }^{\ast }$，从而满足同一种分布但参数不同的随机变量都可以统一讨论了。

2.协方差

方差研究随机变量自身的偏离程度，而协方差研究的则是两个随机变量之间的相互关系。定义$(X,Y)$的协方差为
$$Cov(X,Y)=E(X-EX)(Y-EY)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }(x-EX)(y-EY)dxdy$$
就像方差一样，由于看上去这样的积分计算并不容易，我们可以换成简单的计算，令$EX=a,EY=b$，则
$$\begin{array}{rl}Cov(X,Y)=& {\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }(x-a)(y-b)dF(x,y)\\ =& {\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }(xy-ay-bx+ab)dF(x,y)\\ =& E(XY)-aEY-bEY+ab\\ =& E(XY)-ab\end{array}$$
所以协方差的常用计算式为$Cov(X,Y)=E(XY)-EXEY$。特别当$X=Y$时，代入计算式，得到$Cov(X,X)=E{X}^2-(EX{)}^2=DX$，得到协方差与方差的联系。

协方差的相关性质：

1. 可交换：$Cov(X,Y)=Cov(Y,X)=E(XY)-EXEY$。

2. 线性计算性质：$Cov(aX,bY)=abCov(X,Y),Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)$。由线性计算性质，可以把任意$\sum _{i=1}^n{c}_i{\xi }_i$与$Y$的协方差计算出来。

3. 此时可以计算任何随机变量和的方差了：

   $D(\sum _{i=1}^n{\xi }_i)=\sum _{i=1}^{n}D{\xi }_i+\sum _{i\ne j}Cov({\xi }_i,{\xi }_j)$，这里第二项，指的是任意两个随机变量有序对的协方差之和，一共有$A_n^2=n(n-1)$个协方差项。也可以写成任意两个随机变量无序对的协方差之和的两倍，即$D(\sum _{i=1}^n{\xi }_i)=\sum _{i=1}^{n}D{\xi }_i+2\sum _{1\le i<j\le n}Cov({\xi }_i,{\xi }_j)$。

   在介绍到随机向量时，会有更简易的视图来表示随机变量和的方差。

3.相关系数

前面介绍了随机变量的标准化，如果对于两个标准化后的随机变量$X^{\ast },Y^{\ast }$求协方差，它们的协方差与$X,Y$的协方差有什么关系呢？

首先要明白一个结论：常数与任何随机变量的协方差都为0，即$Cov(a,X)=E(aX)-aEX=0$，于是有$Cov(X-a,Y-b)=Cov(X，Y)$，即随机变量的协方差不随平移变化。这样就得到
$$Cov(X^{\ast },Y^{\ast })=Cov(\frac{X-EX}{\sqrt{DX}},\frac{Y-EY}{\sqrt{DY}})=\frac{Cov(X,Y)}{\sqrt{DX\cdot DY}}.$$
将两个随机变量标准化后的协方差称为相关系数，记作$r_{XY}$。相关系数的重要性，在于它的取值范围是$[-1,1]$，由Cauchy-Schwarz不等式保证$(EXY{)}^2\le E{X}^{2}E{Y}^2$，因此
$$|r_{XY}|=|Cov(X^{\ast },Y^{\ast })|=|E(X^{\ast }{Y}^{\ast })|\le \sqrt{E{X^{\ast }}^{2}E{Y^{\ast }}^2}=\sqrt{D{X}^{\ast }D{Y}^{\ast }}=1.$$
也就是$|r_{XY}|\le 1$，即相关系数被严格限制在一个范围内。当$r_{XY}$取边界值$1,-1$或中间值$0$时分别有什么含义，还要看Cauchy-Schwarz不等式的证明，如下：
$$E(X-tY{)}^2=E(X^2-2tXY+t^2{Y}^2)=E(Y^2)t^2-2E(XY)t+E(X^2)$$
由于$E(X-tY{)}^2\ge 0$，因此其判别式$\le 0$，即
$$\Delta =4(EXY{)}^2-4(E{X}^{2}E{Y}^2)\le 0\Rightarrow |EXY{|}^2\le E{X}^{2}E{Y}^2.$$
等号成立的条件是$P(X-tY=0)=1$，即$\exists t_0,X=t_{0}Y$，而等号成立又对应着$|r_{XY}|=1$的等号成立。因此，有以下结论：

• $r_{XY}=\pm 1$代表随机变量$X,Y$线性相关，当$r_{XY}>0$时是正相关，$r_{XY}<0$时是负相关。
• $r_{XY}=0$意味着$Cov(X,Y)=0$，此时我们称$X,Y$不相关。
• 一般相关系数的绝对值越大，随机变量之间的关系就越密切。

需要注意，不相关不同于独立，独立要求两个随机变量没有任何联系，即$P(X|Y)=P(X)$，是更强的约束；而不相关仅仅要求二者协方差为0，是更弱的要求。只有在一些特殊情况下可以由不相关推出独立，而独立随机变量在任何情况下都是不相关的。今后，我们对不相关的讨论会更多。