期望、方差计算

1. 期望

定义
设$P(x)$是一个离散概率分布函数，自变量的取值范围为 { x 1 , x 2 , ⋯   , x n } \{x_1, x_2, \cdots, x_n\} {x1​,x2​,⋯,xn​}。其期望被定义为：

$$E(x)=\sum _{k=1}^n{x}_{k}P(x_k)$$

设$p(x)$是一个连续概率密度函数。其期望为：

$$E(x)={\int }_{-\infty }^{+\infty }xp(x)dx$$

性质
1.1 线性运算规则

期望服从线性性质（可以很容易从期望的定义公式中导出）。因此线性运算的期望等于期望的线性运算：

$$E(ax+by+c)=aE(x)+bE(y)+c$$

这个性质可以推广到任意一般情况：

$$E(\sum _{k=1}^n{a}_i{x}_i+c)=\sum _{k=1}^n{a}_{i}E(x_i)+c$$

1.2 函数的期望

设$f(x)$为x的函数，则$f(x)$的期望为：

离散：

$$E(f(x))=\sum _{k=1}^{n}f(x_k)P(x_k)$$

连续：

$$E(f(x))={\int }_{-\infty }^{+\infty }f(x)p(x)dx$$

一定要注意，函数的期望不等于期望的函数，即$E(f(x))\ne f(E(x))$！。

1.3 乘积的期望

一般来说，乘积的期望不等于期望的乘积，除非变量相互独立。因此，如果x和y相互独立，则$E(xy)=E(x)E(y)$。

期望的运算构成了统计量的运算基础，因为方差、协方差等统计量本质上是一种特殊的期望。

1.4 条件期望：

如果现在 $X$ 是一个连续随机变量，而 $Y$ 是一个离散变量，条件期望是：

$$\mathrm{E}(X|Y=y)={\int }_{\mathcal{X}}x{f}_X(x|Y=y)dx$$

其中， $f_X(\cdot |Y=y)$ 是在给定 $Y=y$下 $X$ 的条件概率密度函数。

2. 方差

定义

方差是一种特殊的期望，被定义为：

$$Var(x)=E((x-E(x){)}^2)$$

性质

2.1 展开表示

反复利用期望的线性性质，可以算出方差的另一种表示形式：

$$\begin{array}{lll}Var(x)& =& E((x-E(x){)}^2)\\ & =& E(x^2-2xE(x)+(E(x){)}^2)\\ & =& E(x^2)-2E(x)E(x)+(E(x){)}^2\\ & =& E(x^2)-2(E(x){)}^2+(E(x){)}^2\\ & =& E(x^2)-(E(x){)}^2\end{array}$$

2.2 常数的方差

常数的方差为0，由方差的展开表示很容易推得。

2.3 线性组合的方差

方差不满足线性性质，两个变量的线性组合方差计算方法如下：

$$Var(ax+by)=a^{2}Var(x)+b^{2}Var(y)+2Cov(x,y)$$

其中$Cov(x,y)$为x和y的协方差。

2.4 独立变量的方差

如果两个变量相互独立，则：

$$Var(ax+by)=a^{2}Var(x)+b^{2}Var(y)$$

作为推论，如果x和y相互独立：$Var(x+y)=Var(x)+Var(y)$。

3. 协方差

定义

两个随机变量的协方差被定义为：

$$Cov(x,y)=E((x-E(x))(y-E(y)))$$

因此方差是一种特殊的协方差。当x=y时，$Cov(x,y)=Var(x)=Var(y)$。

性质
1、独立变量的协方差

独立变量的协方差为0，可以由协方差公式推导出。

2、线性组合的协方差

协方差最重要的性质如下：

$$Cov(\sum _{i=1}^m{a}_i{x}_i,\sum _{j=1}^n{b}_j{y}_j)=\sum _{i=1}^m\sum _{j=1}^n{a}_i{b}_{j}Cov(x_i,y_j)$$

很多协方差的计算都是反复利用这个性质，而且可以导出一些列重要结论。

作为一种特殊情况：

$$Cov(a+bx,c+dy)=bdCov(x,y)$$

另外当x=y时，可以导出方差的一般线性组合求解公式：

$$Var(\sum _{k=1}^n{a}_i{x}_i)=\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_{j}Cov(x_i,x_j)$$

4. 相关系数

定义
相关系数通过方差和协方差定义。两个随机变量的相关系数被定义为：

$$Corr(x,y)=\frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}}$$

性质

1、有界性

相关系数的取值范围为-1到1，其可以看成是无量纲的协方差。

2、统计意义

值越接近1，说明两个变量正相关性（线性）越强，越接近-1，说明负相关性越强，当为0时表示两个变量没有相关性。

---

参考：

1. 期望