第四章 随机变量的数字特征

4.1 常见分布数学期望与方差

$\begin{array}{rl}1.& \mathrm{X}\sim \mathrm{B}(\mathrm{n},\mathrm{p})\\ & \text{E (X) = np}\\ & \mathrm{D}\left(\mathrm{X}\right)=\mathrm{np}(1-\mathrm{p})\\ 2.& \mathrm{X}\sim \mathrm{P}\left(\lambda \right)\\ & \text{E (X)}=\lambda \\ & D(X)=\lambda \\ 3.& \mathrm{X}\sim \mathrm{U}(\mathrm{a},\mathrm{b})\\ & \mathrm{E}(\mathrm{X})=\frac{\mathrm{a}+\mathrm{b}}{2}\\ & \mathrm{D}\left(\mathrm{X}\right)=\frac{(\mathrm{b}-\mathrm{a}{)}^2}{12}\\ 4.& \mathrm{X}\sim \mathrm{E}\left(\lambda \right)\\ & \begin{array}{l}\text{E (X)}=\frac{1}{\lambda }\\ \text{D (X)}=\frac{1}{{\lambda }^2}\end{array}\\ 5.& \mathrm{X}\sim \mathrm{N}\left(\mu ,{\sigma }^2\right)\\ & \text{E (X) = μ}\\ & \mathrm{D}\left(\mathrm{X}\right)={\sigma }^2\end{array}$

常见分布	CDF	PMF或PDF	期望 ($E(X)$)	方差 ($D(X)$)
二项分布 (Binomial) $X\sim B(n,p)$	$P(X\le k)={\sum }_{i=0}^k\left(\genfrac{}{}{0ex}{}{n}{i}\right)p^i(1-p{)}^{n-i}$	$P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$	$np$	$np(1-p)$
泊松分布 (Poisson) $X\sim P(\lambda )$	$P(X\le k)=e^{-\lambda }{\sum }_{i=0}^k\frac{{\lambda }^i}{i!}$	$P(X=k)=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$	$\lambda$	$\lambda$
均匀分布 (Uniform) $X\sim U(a,b)$	$P(X\le x)=\frac{x-a}{b-a}$, $a\le x\le b$	-	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
指数分布 (Exponential) $X\sim E(\lambda )$	$P(X\le x)=1-e^{-\lambda x}$	$f(x)=\lambda e^{-\lambda x}$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$
正态分布 (Normal) $X\sim N(\mu ,{\sigma }^2)$	$P(X\le x)=\frac{1}{2}\left[1+\text{erf}\left(\frac{x-\mu }{\sigma \sqrt{2}}\right)\right]$	$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}{\left(\frac{x-\mu }{\sigma }\right)}^2}$	$\mu$	${\sigma }^2$
几何分布 (Geometric)	$P(X\le k)=1-(1-p{)}^k$	$P(X=k)=(1-p{)}^{k-1}p$	$\frac{1}{p}$	$\frac{1-p}{p^2}$

$1-e^{-\lambda x}$

4.2 期望的性质

一维离散型随机变量的期望：

$$\mathrm{E}(X)=\sum _{i=1}^{\infty }{x}_i{p}_i$$

$x_i$ 是随机变量 $X$ 的可能取值，$p_i$ 是取这些值的概率。

连续型随机变量函数的期望：

$$\mathrm{E}[g(X)]={\int }_{-\infty }^{+\infty }g(x)f(x)dx$$

$g(X)$ 是 $X$ 的函数，$f(x)$ 是 $X$ 的概率密度函数。

对于二维随机变量 $(X,Y)$，函数的期望为：

$$\mathrm{E}[g(X,Y)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$$

数学期望的性质包括：

• 线性性质：

$$\mathrm{E}(aX+bY)=a\mathrm{E}(X)+b\mathrm{E}(Y)$$

$a$ 和 $b$ 是常数。

• 独立性质：

如果 $X$ 和 $Y$ 是相互独立的随机变量，那么它们的乘积的期望等于各自期望的乘积：

$$\mathrm{E}(XY)=\mathrm{E}(X)\mathrm{E}(Y)$$

4.3 方差的公式和性质

方差的公式：

$$\mathrm{D}(X)=\mathrm{E}(X^2)-[\mathrm{E}(X){]}^2$$

$\mathrm{E}(X)$ 是随机变量 $X$ 的期望值，$\mathrm{E}(X^2)$ 是随机变量 $X$ 平方的期望值。

方差的性质：

• 常数的方差为零：

$$\mathrm{D}(C)=0$$

这里，$C$ 是一个常数。

• 常数乘以随机变量的方差：

$$\mathrm{D}(CX)=C^2\mathrm{D}(X)$$

• 随机变量加上常数的方差等于随机变量的方差：

$$\mathrm{D}(X+C)=\mathrm{D}(X)$$

• 两个随机变量之和或差的方差：

$$\mathrm{D}(X\pm Y)=\mathrm{D}(X)+\mathrm{D}(Y)\pm 2\mathrm{E}\{(\mathrm{X}-\mathrm{E}(X))(\mathrm{Y}-\mathrm{E}(Y))\}$$

• 如果随机变量 $X$ 和 $Y$ 相互独立，则它们之和或差的方差是各自方差的和：

$$\mathrm{D}(X\pm Y)=\mathrm{D}(X)+\mathrm{D}(Y)$$

这些性质在计算随机变量方差时非常有用，尤其是在处理随机变量的线性组合时。

4.4 协方差的公式和性质定义

协方差

公式 C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) \begin{array}{l}\mathrm{Cov(X,Y)=E\left\{\left[X-E\left(X\right)\right]\left[Y-E\left(Y\right)\right]\right\}}\\\mathrm{Cov(X,Y)=E\left(XY\right)-E\left(X\right)E\left(Y\right)}\end{array} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}Cov(X,Y)=E(XY)−E(X)E(Y)​

性质

$$\begin{array}{rl}& \mathrm{Cov}(\mathrm{X},\mathrm{Y})=\mathrm{Cov}(\mathrm{Y},\mathrm{X})\\ & \mathrm{Cov}(\mathrm{aX},\mathrm{bY})=\mathrm{abCov}(\mathrm{Y},\mathrm{X})\\ & \mathrm{Cov}({\mathrm{X}}_1+{\mathrm{X}}_2,\mathrm{Y})=\mathrm{Cov}({\mathrm{X}}_1,\mathrm{Y})+\\ & \mathrm{Cov}({\mathrm{X}}_2,\mathrm{Y})\\ & \mathrm{D}(\mathrm{X}\pm \mathrm{Y})=\mathrm{D}\left(\mathrm{X}\right)+\mathrm{D}\left(\mathrm{Y}\right)\pm \\ & \text{2Cov (X,Y )}\end{array}$$

协方差衡量两个随机变量联合变动性的统计度量。它的定义和性质如下：

协方差的定义和公式：

C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) \begin{aligned} \mathrm{Cov}(X,Y) &= \mathrm{E}\left\{\left[X - \mathrm{E}(X)\right]\left[Y - \mathrm{E}(Y)\right]\right\} \\ \mathrm{Cov}(X,Y) &= \mathrm{E}(XY) - \mathrm{E}(X)\mathrm{E}(Y) \end{aligned} Cov(X,Y)Cov(X,Y)​=E{[X−E(X)][Y−E(Y)]}=E(XY)−E(X)E(Y)​

协方差的性质：

• 对称性：

$$\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$$

• 缩放不变性：

$$\mathrm{Cov}(aX,bY)=ab\mathrm{Cov}(X,Y)$$

这里，$a$ 和 $b$ 是常数。

• 可加性：

$$\mathrm{Cov}(X_1+X_2,Y)=\mathrm{Cov}(X_1,Y)+\mathrm{Cov}(X_2,Y)$$

• 方差和协方差的关系：

$$\mathrm{D}(X\pm Y)=\mathrm{D}(X)+\mathrm{D}(Y)\pm 2\mathrm{Cov}(X,Y)$$

如果随机变量 $X$ 和 $Y$ 相互独立，则它们的协方差为零：

$$\mathrm{Cov}(X,Y)=0$$

协方差可以是正的、负的或零，这分别表示随机变量之间正相关、负相关或不相关。

不相关性的充要条件和相关系数的公式及其性质如下：

不相关性的充要条件：

随机变量 $X$ 与 $Y$ 不相关的充要条件可以表述为：

$$\begin{array}{rl}& \mathrm{X}\text{与}Y\text{不相关}\iff {\rho }_{XY}=0\iff \mathrm{Cov}(X,Y)=0\\ & \iff \mathrm{D}(X+Y)=\mathrm{D}(X)+\mathrm{D}(Y)\\ & \iff \mathrm{E}(XY)=\mathrm{E}(X)\mathrm{E}(Y)\end{array}$$

这里，${\rho }_{XY}$ 是 $X$ 和 $Y$ 的相关系数，$\mathrm{Cov}(X,Y)$ 是 $X$ 和 $Y$ 的协方差。

相关系数

相关系数的公式：

相关系数 ${\rho }_{XY}$ 定义为：

$${\rho }_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{\mathrm{D}(X)\mathrm{D}(Y)}}$$

相关系数的性质：

• 当 ${\rho }_{XY}=\pm 1$ 时，存在线性关系：

ρ X Y = ± 1 ⇔ P { Y = a X + b } = 1 \rho_{XY} = \pm1 \Leftrightarrow P\left\{Y = aX + b\right\} = 1 ρXY​=±1⇔P{Y=aX+b}=1

这意味着，如果相关系数为 $+1$ 或 $-1$，则 $Y$ 可以通过 $X$ 的线性函数完全预测，并且这种关系是确定性的。

相关系数是度量两个随机变量线性关系强度和方向的一个重要工具。当两个随机变量完全不相关时，它们的相关系数为零。

补充 切比雪夫不等式

P { ∣ X − E ( X ) ∣ ≥ ε } ≤ D ( X ) ε 2 或  P { ∣ X − E ( X ) ∣ < ε } ≥ 1 − D ( X ) ε 2 . \begin{aligned} &\mathrm{P}\left\{|\mathrm{X} - \mathrm{E}(\mathrm{X})| \geq \varepsilon \right\} \leq \frac{\mathrm{D}(\mathrm{X})}{\varepsilon^2} \\ &\text{或} \ \mathrm{P}\left\{|\mathrm{X} - \mathrm{E}(\mathrm{X})| < \varepsilon\right\} \geq 1 - \frac{\mathrm{D}(\mathrm{X})}{\varepsilon^2}. \end{aligned} ​P{∣X−E(X)∣≥ε}≤ε2D(X)​或 P{∣X−E(X)∣<ε}≥1−ε2D(X)​.​