9.6 期望、方差和协方差

期望(Expectation)

数学期望(mean)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。
离散型随机变量的一切可能的取值$x_i$与对应的概率$p(x_i)$乘积之和称为该离散型随机变量的数学期望(若该求和绝对收敛），记为$\mathbb E(x)$ 。它是简单算术平均的一种推广，类似加权平均。
离散型随机变量X的取值为$x_1,x_2,x_3,...x_n$，$p(x_1),p(x_2),p(x_3),...p(x_n)$为$X$对应取值的概率，函数$f(x)$是指当$x$由$P$产生，$f$作用于$x$时，$f(x)$的平均值。则函数$f(x)$关于某分布$p(x)$的期望或者期望值，对于离散型随机变量，可以通过求和得到：

$$\mathbb E_{x\sim p}[f(x)]=p(x_1)*f(x_1)+p(x_2)*f(x_2)+...+p(x_n)*f(x_n)\\ =\sum_xP(x)f(x)$$

【例子】

某城市有10万个家庭，没有孩子的家庭有1000个，有一个孩子的家庭有9万个，有两个孩子的家庭有6000个，有3个孩子的家庭有3000个。
则此城市中任一个家庭中孩子的数目是一个随机变量，记为$X$。它可取值0，1，2，3。
其中，$X$取0的概率为0.01，取1的概率为0.9，取2的概率为0.06，取3的概率为0.03。
则，它的数学期望$\mathbb E(X)=0\times 0.01+1\times 0.9 + 2\times 0.06 + 3\times 0.03=1.11$，即此城市一个家庭平均有小孩1.11个。
对于连续型随机变量，期望值以通过求积分得到：

$$\mathbb E_{x\sim p}[f(x)]=\int p(x)f(x)dx$$
期望是线性的，例如
$$\mathbb E_x[\alpha f(x)+\beta g(x)]=\alpha\mathbb E_x[f(x)]+\beta\mathbb E_x[g(x)]$$
其中 $\alpha$和 $\beta$不依赖于 $x$。

方差(Variance)

方差衡量的是当我们对$x$依据它的概率分布进行采样时，随机变量 $x$的函数值会呈现多大的差异：

$$\mathbb{Var}(f(x))=\mathbb E[(f(x)-\mathbb E[f(x)])^2]$$
当方差很小时， $f(x)$的值形成的簇比较接近它们的期望值。方差的平方根被称为 标准差(standard deviation)。

协方差(Covariance)

协方差在某种意义上给出了两个变量线性相关性的强度以及这些变量的尺度：

$$\mathbb{Cov}(f(x),g(y))=\mathbb E[(f(x)-\mathbb E[f(x)])(g(y)-\mathbb E[g(y)])]\\ =\mathbb E[f(x)g(y)]-2\mathbb E[g(y)][f(x)]+\mathbb E[f(x)][g(y)]\\ =E[f(x)g(y)]-E[f(x)]E[g(y)]$$
写成矩阵形式等价于
$$\mathbb{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]\\ =E[XY]-2E[Y]E[X]+E[X]E[Y]\\ =E[XY]-E[X]E[Y]$$
从直观上来看，协方差表示的是两个变量总体误差的期望。协方差的绝对值如果很大则意味着变量值变化很大并且它们同时距离各自的均值很远。
如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
如果 $X与Y$是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足 $E[XY]=E[X]E[Y]$。
但是，反过来并不成立。即如果X与Y的协方差为0，二者并不一定是统计独立的。
随机向量 $x\in \mathbb R^n$的协方差矩阵是一个 $n\times n$的矩阵，并且满足
$$\mathbb{Cov(x)_{i,j}}=\mathbb{Cov(x_i,x_j)}$$
协方差矩阵的对角元是方差：
$$\mathbb{Cov(x_i,x_i)}=\mathbb{Var(x_i)}$$