机器学习的数学基础（一）—— 期望、方差、协方差与相关系数

0. 期望与方差

期望：

$$E[aX+bY]=aE[X]+bE[Y]$$

方差：

$$D(aX+bY)=D(aX)+D(bY)+2\text{cov}(aX,bY)\\ =a^2D(X)+b^2D(Y)+2ab\:\text{cov}(X,Y)$$

$$D(aX+b)=a^2D(X)$$

1. 协方差的定义及性质

期望值分别为 $E[X]$ 和 $E[Y]$ 的两个实随机变量之间的协方差 $\text{cov}(X,Y)$ 定义为：

$$\begin{split} \text{cov}(X,Y)=&E[(X-E[X])(Y-E[Y])]\\ =&E[XY]-E[X]E[Y] \end{split}$$

也即，协方差表达的是两个随机变量总体误差的期望；

基本性质：

• （1）如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

• （2）如果X与Y是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足$E[XY]=E[X]E[Y]$。但是，反过来并不成立。即如果X与Y的协方差为0，二者并不一定是统计独立的。协方差为0的两个随机变量称为是不相关的。

  独立一定不相关，不相关不一定独立；

$$\begin{split} &\text{cov}(X,Y)=\text{cov}(Y,X)\\ &\text{cov}(aX,bY)=ab\cdot\text{cov}(X,Y)\\ &\text{cov}(X_1+X_2,Y)=\text{cov}(X_1,Y)+\text{cov}(X_2,Y) \end{split}$$

2. 协方差与方差的关系

$$D(X+Y)=D(X)+D(Y)+2\text{cov}(X,Y)\\ D(X-Y)=D(X)+D(Y)-2\text{cov}(X,Y)$$

$$\text{cov}(X,X)=E[X^2]-E[X]^2=D(X)$$

3. 相关系数

$$\rho_{X,Y}=\frac{\text{cov}(X,Y)}{\sigma_X\sigma_Y}$$

• （1）$\rho_{X,Y}=0$，也即 $\text{cov}(X,Y)=0$，表示 $X$ 与 $Y$ 不相关，也即 $\rho_{X,Y}=0$ 的充分必要条件是 $\text{cov}(X,Y)=0$，也就不相关和协方差为 0是等价的；
• （2）$\rho_{X,Y}\leq 1$
• （3）$\rho_{X,Y}=1$ 的充分必要条件是 $P(Y=aX+b)=1$（也即二者线性相关）