第四章 随机变量的数字特征（概率论）

第四章 随机变量的数字特征

常见分布	分布律 $p_k$ 或 密度函数 $f(x)$	分布函数 $F(x)$	期望 $E(X)$	方差 $D(X)$
几何分布 $G(p)$	$p{q}^{k-1},k=1,2,...$	/	$\frac{1}{p}$	$\frac{1-p}{p^2}$
超几何分布 $H(n,m,N)$	$\frac{C_m^k{C}_{N-m}^{n-k}}{C_N^n}k=0,1,...n$	/	$\frac{nm}{N}$	$\frac{nm(N-m)(N-n)}{N^2(N-1)}$
二项分布$B(n,p)$	$C_n^k{p}^k{q}^{n-k}k=0,1,...n$	/	$np$	$np(1-p)$
泊松分布 $P(\lambda )$	$\frac{{\lambda }^k}{k!}{e}^{-\lambda }k=0,1,...$	/	$\lambda$	$\lambda$
均匀分布 $U(a,b)$	$\{\begin{array}{l}\begin{array}{rlr}& \frac{1}{b-a},& a\le x\le b\\ & 0,& others\end{array}\end{array}$	$\{\begin{array}{l}\begin{array}{rlr}& 0,& x<a\\ & \frac{x-a}{b-a},& a\le x\le b\\ & 1,& b<x\end{array}\end{array}$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
指数分布 $e(\lambda )$	$\{\begin{array}{l}\begin{array}{rlr}& \lambda e^{-\lambda x},& x>0\\ & 0,& x\le 0\end{array}\end{array}$	$\{\begin{array}{l}\begin{array}{rlr}& 1-e^{-\lambda x},& x>0\\ & 0,& x\le 0\end{array}\end{array}$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$
$\Gamma$分布 $\Gamma (\alpha ,\beta )$	$\{\begin{array}{l}\begin{array}{rlr}& \frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\beta x},& x>0\\ & 0,& x\le 0\end{array}\end{array}$		$\frac{\alpha }{\beta }$	$\frac{\alpha }{{\beta }^2}$

4.1 数学期望 Expectation

期望——以概率作为权重的加权平均

4.1.1 随机变量的数学期望

• 离散型期望：取值 $X$ 的概率求和

  • 定义：若级数 $\sum _{k=1}^{\infty }{x}_k{p}_k$ 绝对收敛，则称此级数为 $X$ 的数学期望/均值，记为 $E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k$。否则期望不存在。

  • $例题$：已知 $X\sim P(\lambda )$，计算 $E(X)$

    解：
    $$\begin{gathered} p_k=p(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,2... \\ 于是E(X)=\sum _{k=0}^{\infty }k{p}_k=\lambda e^{-\lambda }\sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!} \\ \because \underset{x\to 0}{\lim }{e}^x=1+x+\frac{x^2}{2!}+...+\frac{x^n}{n!}+... \\ \therefore E(X)=\lambda e^{-\lambda }{e}^{\lambda }=\lambda . \end{gathered}$$

• 连续型期望：取值 $X$ 的密度积分

  • 定义：若（极限 lim ⁡ max ⁡ i { Δ x i } → 0 ∑ i = 1 n x i f ( x i ) Δ x i \lim\limits_{\max\limits_{i}\{\Delta x_i\}\rightarrow 0} \sum\limits_{i=1}^n x_if(x_i)\Delta x_i imax​{Δxi​}→0lim​i=1∑n​xi​f(xi​)Δxi​ 存在）反常积分 ${\int }_{-\infty }^{+\infty }xf(x)dx$ 绝对收敛，则称此积分为 $X$ 的数学期望，记为 $E(X)={\int }_{-\infty }^{+\infty }xf(x)dx={\int }_{R}xd(F_X(x))$。

  • $例题$：已知 $X\sim \Gamma (\alpha ,\beta )$，计算 $E(X)$

    解：
    $$\begin{gathered} f(x)=\{\begin{array}{l}\begin{array}{rlr}& \frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\beta x},& x>0\\ & 0,& x\le 0\end{array}\end{array} \\ E(X)={\int }_{-\infty }^{+\infty }xf(x)dx=\frac{1}{\beta \Gamma (\alpha )}{\int }_0^{+\infty }(\beta x{)}^{\alpha }{e}^{-\beta x}d(\beta x)=\frac{\Gamma (\alpha +1)}{\beta \Gamma (\alpha )}=\frac{\alpha }{\beta } \end{gathered}$$

4.1.2 随机变量函数的数学期望

• 一维R.V.函数的期望：$Y=g(X)$ 是 $X$ 的连续函数，求 $Y$ 的期望 $E(Y)$

  • $⨀$ 方法一：先求 $Y$ 的分布，再求 $E(Y)=\{\begin{array}{l}\sum y_k\cdot P(Y=y_k)\\ \underset{R}{\int }{y}_k\cdot f_Y(y)dy\end{array}$

  • $⨀$ 方法二：不用求 $Y$ 的分布，直接利用 $X$ 的分布，$E(Y)=E(g(X))=\{\begin{array}{l}\sum _{k=1}^{\infty }g(x_k)\cdot P(X=x_k)\\ \underset{R}{\int }g(x)\cdot f_X(x)dx\end{array}$

  • $例题$：某种商品每周需求量 $X\sim U[10,30]$，商店进货量 $a$ 为 $[10,30]$ 中的某一个整数，每销售一单位商品获利 $500$ 元，若供大于求则处理多与余商品，一单位商品亏 $100$ 元；若供不应求则外部调剂，一单位商品获利 $300$ 元，为使商店获利期望值不小于 $9280$ 元，请确定最小进货量。

    解：关于需求量的获利函数 $\begin{array}{r}g(X)=\{\begin{array}{llc}& 500a+300(X-a)& a\le X\le 30\\ & 500X-100(a-X)& 10\le X<a\end{array}\end{array}$
    $$\begin{array}{rl}\therefore E(X)& ={\int }_{10}^{30}g(t)f_X(t)dt\\ & ={\int }_{10}^a\frac{1}{20}(500t-100(a-t))dt+{\int }_a^{30}\frac{1}{20}(500a+300(t-a))dt\\ & =-7.5a^2+350a+5250\ge 9280\\ \therefore & \frac{62}{3}\le a\le 26,即a_{\min }=21.\end{array}$$

• 二维R.V.函数的期望：$Z=g(X,Y)$ 是 $Z$ 的连续函数，求 $Z$ 的期望 $E(Z)$

  • $⨀$ 方法一：先求 $Z$ 的分布，再求 $E(Z)=\{\begin{array}{l}\sum z_k\cdot P(Z=z_k)\\ \underset{R}{\int }{z}_k\cdot f_Z(z)dz\end{array}$

  • $⨀$ 方法二：不用求 $Z$ 的分布，直接利用 $X，Y$ 的分布，$E(Z)=E(g(X,Y))=\{\begin{array}{l}\sum _{i,j=1}^{\infty }g(x_i,y_j)\cdot p_{ij}\\ \underset{R^2}{\iint }g(x,y)\cdot f(x,y)dxdy\end{array}$

  • $例题$：一系统由两元件 $X,Y$ 并联，其寿命独立同分布于 $e(0.5)$，求系统平均寿命

    解：联合密度函数 $\begin{array}{r}f(x,y)=\{\begin{array}{llc}& \frac{1}{4}{e}^{-\frac{1}{2}(x+y)},& x,y>0\\ & 0& others\end{array}\end{array}$
    $$\begin{array}{rl}& 则系统平均寿命Z=g(X,Y)=\max (X,Y)\\ E(Z)& =E(\max (X,Y))\\ & ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\max (x,y)f(x,y)dxdy\\ & ={\int }_0^{\infty }{\int }_0^{x}x\cdot \frac{1}{4}{e}^{-\frac{1}{2}(x+y)}dydx+{\int }_0^{\infty }{\int }_x^{\infty }y\cdot \frac{1}{4}{e}^{-\frac{1}{2}(x+y)}dx\\ & ={\int }_0^{\infty }\frac{1}{2}x{e}^{-\frac{1}{2}x}dydx+{\int }_0^{\infty }{e}^{-x}dx\\ & =2\Gamma (2)+\Gamma (1)=3\end{array}$$

4.1.3 期望的性质

1. $C$ 是常数，则$E(C)=C$

2. $E(CX)=CE(X)$

3. 可加性：$E(X+Y)=E(X)+E(Y)$

   $例题$：设 $X\sim B(n,p)$，求 $E(X)$

   解：
   $$\begin{gathered} X=\sum _{i=1}^n{X}_i\sim B(n,p) \\ \because E(X_i)=p\therefore E(X)=\sum _{i=1}^{n}E(X_i)=\sum _{i=1}^{n}p=np \end{gathered}$$

4. 线性性质：$E\left(\sum _{i=1}^n{C}_i{X}_i+b\right)=\sum _{i=1}^n{C}_{i}E(X_i)+b$

5. 若 $X,Y$ 相互独立，$E(XY)=E(X)E(Y)$

   独立性：乘积的概率=概率的乘积

   相关性：乘积的期望=期望的乘积

4.2 方差 Variance

表示偏差趋势（每个数据和中心的偏差程度）

• 方差定义：$D(X)=E[X-E(X){]}^2$ 为随机变量 $X$ 的方差，记作 $D(X)$ 或 $Var(X)$

  方差本质是一个随机变量函数

  • 标准差/均方差：$\sqrt{D(X)}$

  二阶矩：$E(X-E(X){)}^2$

  一阶矩：$E|X-E(X)|$

  • 简便公式：$D(X)=E(X^2)-[E(X){]}^2$ （平方的期望 $-$ 期望的平方）。特别地，当 $E(X)=0$ 时，$D(X)=E(X^2)$

    证明：
    $$\begin{array}{rl}D(X)& =E([X-E(X){]}^2)\\ & =E[X^2-2E(X)X+[E(X){]}^2]\\ & =E(X^2)-2E(X)E(X)+[E(X){]}^2\\ & =E(X^2)-[E(X){]}^2\end{array}$$

  • $例题$：已知 $X\sim P(\lambda )$，计算 $D(X)$

    解：已知 $E(X)=\lambda$，而 $E(X^2)=E[X(X-1)]+E(X)$.
    $$\begin{array}{rl}计算E[X(X-1)]& =\sum _{k=0}^{\infty }k(k-1)\frac{{\lambda }^k}{k!}{e}^{-\lambda }={\lambda }^2{e}^{-\lambda }\sum _{k=2}^{\infty }\frac{{\lambda }^{k-2}}{(k-2)!}={\lambda }^2{e}^{-\lambda }\sum _{n=0}^{\infty }\frac{{\lambda }^n}{n!}={\lambda }^2\\ \therefore & D(X)=E[X(X-1)]+E(X)-[E(X){]}^2={\lambda }^2.\end{array}$$

  • $例题$：已知 $X\sim \Gamma (\alpha ,\beta )$，计算 $E(X)$

    解：已知 $E(X)=\frac{\alpha }{\beta }$
    $$\begin{gathered} \begin{array}{rl}E(X^2)& ={\int }_0^{+\infty }{x}^2\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\beta xdx}\\ & =\frac{1}{{\beta }^2\Gamma (\alpha )}{\int }_0^{+\infty }(\beta x{)}^{\alpha +1}{e}^{-\beta x}d(\beta x)\\ & =\frac{\Gamma (\alpha +2)}{{\beta }^2\Gamma (\alpha )}\\ & =\frac{\alpha (\alpha +1)}{\beta }\end{array} \\ \therefore D(X)=E(X^2)-[E(X){]}^2=\frac{\alpha (\alpha +1)}{\beta }-{\left(\frac{\alpha }{\beta }\right)}^2=\frac{\alpha }{{\beta }^2} \end{gathered}$$

• 方差性质：

  1. 非负性：方差为标准差的平方（证明相关系数性质 $(2)$ 时使用）

  2. $D(C)=0$

  3. $a,b$ 为常数，且 $a\ne 0$，则 $D(aX+b)=a^{2}D(X)$

  4. 若 $X,Y$相互独立，则 $D(X\pm Y)=D(X)+D(Y)$

     证明：
     $$\begin{array}{rl}D(X\pm Y)& =E[X\pm Y-E(X\pm Y){]}^2\\ & =E[(X-E(X))\pm (Y-E(Y)){]}^2\\ & =E[[X-E(X){]}^2\pm 2[X-E(X)][Y-E(Y)]+[Y-E(Y){]}^2]\\ & =D(X)\pm 2E[X-E(X)]\cdot E[Y-E(Y)]+D(Y)\\ & =D(X)+D(Y)\end{array}$$

  5. 线性性质：若 $X_i$ 之间相互独立，则 $D\left(\sum _{i=1}^n{C}_i{X}_i\right)=\sum _{i-1}^n{C}_i^{2}D(X_i)$

  6. $D(aX\pm bY)=a^{2}D(X)\pm 2ab[E(XY)-E(X)E(Y)]+b^{2}D(Y)=(a,b)\left[\begin{array}{cc}D(X)& \mathrm{Cov}(X,Y)\\ \mathrm{Cov}(X,Y)& D(Y)\end{array}\right]\left(\begin{array}{c}a\\ b\end{array}\right)$

  7. 退化分布：$D(X)=0⟺\exists C$，使得 $P(X=C)=1且C=E(X)$

• $\ast$ 变异系数：$C_v=\frac{\sqrt{D(X)}}{|E(X)|}$，其中 $E(X)\ne 0$

  • 变异系数衡量 $X$ 取值在 $E(X)$ 周围的相对集中程度。没有量纲，是相对变化量。

• 原点矩与中心矩：

  • 原点矩：$m_k=E(X^k)$

  • 中心矩：${\mu }_k=E[X-E(X){]}^k$

    显然 $E(X)=m_1,D(X)={\mu }_2,m_0={\mu }_0=1$

  • 两者关系：${\mu }_k=\sum _{r=0}^k{C}_k^r{m}_r(-m_1{)}^{k-r}$

  $\Gamma (\alpha ,\beta )$ 的变异系数 $C_v=\frac{\sqrt{\alpha }}{\alpha }$，$k$ 阶原点矩 $m_k=\frac{\alpha (\alpha +1)...(\alpha +k-2)(\alpha +k-1)}{{\beta }^k}$

4.3 协方差 Covariance 和相关系数

4.3.1 协方差

描述 $X,Y$ 之间相关性的程度

• 定义：设二维随机变量 $(X,Y)$，协方差 $\mathrm{Cov}(X,Y)=E[[X-E(X)][Y-E(Y)]]=E(XY)-E(X)E(Y)$。特别地 $\mathrm{Cov}(X,X)=D(X)$

• 性质：

  1. 若 $X,Y$ 相互独立，则 $\mathrm{Cov}(X,Y)=0$
  2. $\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X),\mathrm{Cov}(X,a)=0$
  3. $\mathrm{Cov}(aX,bY)=ab\mathrm{Cov}(X,Y)$
  4. $\mathrm{Cov}(X+Y,Z)=\mathrm{Cov}(X,Z)+\mathrm{Cov}(Y,Z)$
  5. 线性可加性：$\mathrm{Cov}\left(\sum _{i=1}^n{a}_i{X}_i,\sum _{j=1}^m{b}_j{Y}_j\right)=\sum _{i=1}^n\sum _{j=1}^m{a}_i{b}_j\mathrm{Cov}(X_i,Y_j)$
  6. $D(X\pm Y)=D(X)+D(Y)\pm 2\mathrm{Cov}(X,Y)$

  $例题$：随机变量 $X\sim U(3,6),Y\sim e(3),Z\sim \Gamma (2,3)$，且 $X,Y$ 独立，$E(YZ)=\frac{1}{3},\mathrm{Cov}(X,Z)=2$，求 $D(2X-2Y+Z)$

  解：
  $$\begin{array}{rl}D(2X-2Y+Z)& =D(2X-2Y)+D(Z)+2\mathrm{Cov}(2X-2Y,Z)\\ & =4D(X)+4D(Y)+D(Z)+4\mathrm{Cov}(X,Z)-4\mathrm{Cov}(Y,Z)\\ & =4\times \frac{3}{4}+4\times \frac{1}{9}+\frac{2}{9}+4\times 2-4\times (\frac{1}{3}-\frac{1}{3}\times \frac{2}{3})\\ & =\frac{101}{9}\end{array}$$

• 二维向量的数字特征：

  • 数学期望(均值向量)：向量 $(E(X),E(Y))$
  • 协方差矩阵：$V=\left(\begin{array}{cc}D(X)& \mathrm{Cov}(X,Y)\\ \mathrm{Cov}(Y,X)& D(Y)\end{array}\right)$ ——实对称矩阵

4.3.2 相关系数

由于协方差受量纲影响（$X$ 的量纲乘 $Y$ 的量纲），提出相关系数（一种剔除了两个变量量纲影响、标准化后的特殊协方差）

• 随机变量的标准化：$E(X),D(X)$ 均存在且 $D(X)>0$，则标准化后的随机变量 $X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}$，此时 $X^{\ast }$ 没有量纲。

  线性变换后：

  • $E(X^{\ast })=0,D(X^{\ast })=1$

  • $\mathrm{Cov}(X^{\ast },Y^{\ast })=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)D(Y)}}$

• 相关系数：

  • 定义：相关系数 $R(X,Y)=\mathrm{Cov}(X^{\ast },Y^{\ast })=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)D(Y)}}$，记作 $r$ 或 $\rho$.

  • 性质：

    1. 对称性：$R(X,Y)=R(Y,X)$

    2. 有界性：$|R(X,Y)|\le 1$

       证明：
       $$\begin{gathered} \forall t,由方差非负性有D(Y-tX)\ge 0 \\ 令f(t)=D(Y-tX)=t^{2}D(X)-2t\mathrm{Cov}(X,Y)+D(Y) \\ \because 对\forall t,f(t)\ge 0\therefore \Delta =4\mathrm{Cov}(X,Y{)}^2-4D(X)D(Y)\le 0 \\ 故R(X,Y)=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)D(Y)}}\le 1有界 \end{gathered}$$

    3. 线性相关关系：$|R(X,Y)|=1⟺\exists a,b$ 且 $a\ne 0$，使得 $P(Y=aX+b)=1$

       证明：
       $$\begin{gathered} \because |R(X,Y)|=1\therefore \Delta =0 \\ \exists t_0,f(t_0)=D(Y-t_{0}X)=0 \\ 故P(Y-t_{0}X=c)=1 \end{gathered}$$
       若 $a>0$，可得 $R(X,Y)=1$，称 $X$ 与 $Y$ 完全正线性相关；若 $a<0$，可得 $R(X,Y)=-1$，称 $X$ 与 $Y$ 完全负线性相关。

    4. 相关性	相关系数大小
       高度相关	$
       中度相关	$0.5\le
       低度相关	$0.3\le
       （弱)不相关	$

  • 独立与不相关：

    • $X,Y$ 不相关不能说明 $X,Y$ 独立：独立 $\color{red}\subset $ 不相关

      独立 $⟺\mathrm{Cov}(X,Y)=0⟺R(X,Y)=0$：从概率角度定义，更严苛

      不相关 $⟺$ 没有线性相关关系：从混沌程度定义