概率论复习笔记四——期望、方差、协方差与相关系数

一、几个不等式

1.1 切比雪夫不等式

对于任何具有有限方差的随机变量$\xi$，都有 P { ∣ ξ − E ξ ∣ ≥ ε } ≤ D ξ ε 2 (1) P\{|\xi-E\xi|\ge \varepsilon\}\le\frac{D\xi}{\varepsilon^2}\tag1 P{∣ξ−Eξ∣≥ε}≤ε2Dξ​(1)
其中$\epsilon$是任一正数。

证明：
$D\xi ={\int }_{-\infty }^{\infty }(x-E\xi {)}^{2}dF(x)\ge {\int }_{|x-E\xi \ge \epsilon |}(x-E\xi {)}^{2}dF(x)\ge {\int }_{|x-E\xi \ge \epsilon |}{\epsilon }^{2}dF(x)$。

根据上述不等式，我们可以得到 P { ∣ ξ − E ξ D ξ ∣ ≥ δ } ≤ 1 δ 2 (2) P\{|\frac{\xi-E\xi}{\sqrt{D\xi}}|\ge\delta\}\le\frac{1}{\delta^2}\tag2 P{∣Dξ ​ξ−Eξ​∣≥δ}≤δ21​(2)

切比雪夫不等式利用随机变量$\xi$的数学期望$E\xi$和方差$D\xi ={\sigma }^2$对$\xi$的概率分布进行估计。比如式子$(2)$断言不管$\xi$的分布是什么，$\xi$落在$(E\xi -\sigma \delta ,E\xi +\sigma \delta )$中的概率均不小于$1-\frac{1}{{\delta }^2}$

1.2 Cauchy —Schwarz不等式

对任意的随机变量$\xi ,\eta$都有$$|E\xi \eta {|}^2\le E{\xi }^2\cdot E{\eta }^2\text{\hspace{1em}(3)}$$
等式成立当且仅当 P { η = t 0 ξ } = 1 P\{\eta=t_0\xi\}=1 P{η=t0​ξ}=1，这里$t_0$是某一个常数。

证明：
对任意实数$t$，定于$u(t)=E(t\xi -\eta {)}^2=t^{2}E{\xi }^2-2tE\xi \eta +E{\eta }^2$，显然$u(t)\ge 0$恒成立，所以根的判别式$|E\xi \eta {|}^2-E{\xi }^2\cdot E{\eta }^2\le 0$。

二、数字特征

2.1 期望

若随机变量$\xi$的分布函数为$F(x)$，则定义$$E\xi ={\int }_{-\infty }^{\infty }xdF(x)\text{\hspace{1em}(4)}$$为$\xi$的数学期望，要求上述积分绝对收敛，否则数学期望不存在。

2.2 方差

若$E(\xi -E\xi {)}^2$存在，则称它为随机变量$\xi$的方差，记为$D\xi$，易得$D\xi =E{\xi }^2-(E\xi {)}^2$

2.3 协方差

称${\sigma }_{ij}=cov({\xi }_i,{\xi }_j)=E[({\xi }_i-E{\xi }_i)({\xi }_j-E{\xi }_j)]$为随机变量${\xi }_i$与${\xi }_j$的协方差。

不难验算：$$cov({\xi }_i,{\xi }_j)=E{\xi }_i{\xi }_j-E{\xi }_i\cdot E{\xi }_j\text{\hspace{1em}(5)}$$
$$D(\sum _{i=1}^n{\xi }_i)=\sum _{i=1}^{n}D{\xi }_i+2\sum _{1\le i<j\le n}cov({\xi }_i,{\xi }_j)\text{\hspace{1em}(6)}$$

2.4 相关系数

称$${\rho }_{ij}=\frac{cov({\xi }_i,{\xi }_j)}{\sqrt{D{\xi }_i}\sqrt{D{\xi }_j}}\text{\hspace{1em}(7)}$$为${\xi }_i,{\xi }_j$的相关系数。

当$|{\rho }_{ij}|=1$时，两个随机变量完全相关，当$|{\rho }_{ij}|=0$时，两个随机变量不相关。

性质：
如果$\xi$和$\eta$独立，那么它们不相关，但反之不一定成立。不过对于正态随机变量和二值随机变量，不相关性和独立性是等价的。

2.5 矩

对于正整数$k$，称$m_k=E{\xi }_k$为$k$阶原点矩，$c_k=E(\xi -E\xi {)}^k$为$k$阶中心矩。

2.6 条件数学期望

在$\xi =x$的条件下，$\eta$的条件数学期望为 E { η ∣ ξ = x } = ∫ − ∞ ∞ y p ( y ∣ x )   d y (8) E\{\eta |\xi=x\}=\int_{-\infty}^{\infty}yp(y|x)\,dy\tag8 E{η∣ξ=x}=∫−∞∞​yp(y∣x)dy(8)

根据定义可以推导出重期望公式 E η = E [ E { η ∣ ξ } ] (9) E\eta=E[E\{\eta|\xi\}]\tag9 Eη=E[E{η∣ξ}](9)