期望、方差、协方差和协方差矩阵

一、期望

1.离散随机变量的X的数学期望：

$$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k$$

2.连续型随机变量X的数学期望：

$$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$$

3.常见分布的期望

1）泊松分布的期望等于$\lambda$；
2）均匀分布的期望位于区间的中心；
3） 高斯分布的期望为$\mu$
4）二项分布的期望为$np$

4.期望的性质

常数的期望等于该常数；
$E(CX)=CE(X)$;
$E(X+Y)=E(X)+E(Y)$;
$X,Y$独立时，$E(XY)=E(X)E(Y)$

---

---

二、 方差

研究随机变量与其均值的偏离程度，记为：
$$D(X)=E[X-E(X){]}^2$$

1.均方差，标准差

$$\sigma (X)=\sqrt{E[X-E(X){]}^2}$$

2.方差的计算

把$E[X-E(X){]}^2$看做函数$g(X)$, 方差相当于求$g(X)$的期望。
对于离散的：$$D(X)=\sum _{k=1}^{\infty }[x_k-E(X){]}^2{p}_k$$
对于连续的：$$D(X)={\int }_{-\infty }^{+\infty }[x_k-E(X){]}^{2}f(x)dx$$

实际中常用下面公式计算：
$$D(X)=E(X^2)-[E(X){]}^2$$

3.常见分布的方差

1）高斯分布的方差${\sigma }^2$
2) 0-1分布的方差为$D(X)=p(1-p)$
3) 泊松分布的方差为$\lambda$
4) 均匀分布的方差为$\frac{(b-a{)}^2}{12}$
5)指数分布$f(x)=\frac{1}{\theta }{e}^{-x/\theta }$的方差为 ${\theta }^2$

4. 性质

---

---

三、协方差

描述两个变量的相关性
$$Cov=E[X-E(X)][Y-E(Y)]$$
相关系数
$${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
${\rho }_{XY}=0$, 两个变量不相关

---

---

四、协方差矩阵

推广到多维：

对于连续的情况：

例子：
可以参考下面的博客：
详解协方差与协方差矩阵：https://blog.csdn.net/ybdesire/article/details/6270328

---

参考： 概率论与数理统计 浙大