数学基础之概率论（4）——随机变量的数字特征

数学基础之概率论（4）——随机变量的数字特征

1、数学期望
a. 定义：数学期望本质上就是一个用来描述随机变量取值的平均特征的量。因此，若 X ∼ P { X = x k } = p k , k = 1 , 2 , 3 , . . . X\sim P\{X=x_{k}\}=p_{k},k=1,2,3,... X∼P{X=xk​}=pk​,k=1,2,3,...，且${\sum }_{k=1}^{\infty }|x_k|p_k<\infty$，则称$E(X)={\sum }_{k=1}^{\infty }{x}_k{p}_k$为$r.v.X$的数学期望，简称期望或均值。若$X\sim f(x),-\infty <x<+\infty ,{\int }_{-\infty }^{+\infty }|x|f(x)dx<\infty$，则称$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$为$X$的数学期望。

b. 0-1分布的数学期望

$X$	$1$	$0$
$P$	$p$	$1-p$

$\Rightarrow E(X)=p$

c. 二项分布$b(n,p)$的数学期望
P { X = k } = C n k p k ( 1 − p ) n − k ,    k = 0 , 1 , 2 , . . . , n P\{X=k\}=C_{n}^{k}p^{k}(1-p)^{n-k},\space\space k=0,1,2,...,n P{X=k}=Cnk​pk(1−p)n−k,  k=0,1,2,...,n
$\Rightarrow E(X)={\sum }_{k=1}^{n}k\frac{n!}{k!(n-k)!}{p}^k(1-p{)}^{n-k}$
$={\sum }_{k=1}^n\frac{n!}{(k-1)!(n-k)!}{p}^k(1-p{)}^{n-k}$
$=np{\sum }_{k=1}^n\frac{(n-1)!}{(k-1)!(n-k)!}{p}^{k-1}(1-p{)}^{n-1-(k-1)}$
$\stackrel{l=k-1}{⟹}np{\sum }_{l=0}^{n-1}{C}_{n-1}^l{p}^l(1-p{)}^{n-1-l}=np$

d. 泊松分布的数学期望
X ∼ P { X = k } = λ k k ! e − λ ,    k = 0 , 1 , 2 , . . . X\sim P\{X=k\}=\frac{\lambda^{k}}{k!}e^{-\lambda},\space\space k=0,1,2,... X∼P{X=k}=k!λk​e−λ,  k=0,1,2,...
$\Rightarrow E(X)={\sum }_{k=0}^{\infty }k\frac{{\lambda }^k}{k!}{e}^{-\lambda }=\lambda e^{-\lambda }{\sum }_{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}=k$

e. 均匀分布$U(a,b)$的数学期望
$X\sim f(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b\\ \\ 0,others\end{array}$
$\Rightarrow E(X)={\int }_a^b\frac{x}{b-a}dx=\frac{a+b}{2}$

f. 指数分布的数学期望
$X\sim f(x)=\{\begin{array}{l}\lambda e^{-\lambda x},x>0\\ \\ 0,x⩽0\end{array}$
$\Rightarrow E(X)={\int }_0^{+\infty }x\lambda e^{-\lambda x}dx=\frac{1}{\lambda }$

g. 正态分布$N(\mu ,{\sigma }^2)$的数学期望
$X\sim f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty$
$\Rightarrow E(X)={\int }_{-\infty }^{+\infty }\frac{x}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx$
$\stackrel{t=\frac{x-\mu }{\sigma }}{⟹}{\int }_{-\infty }^{+\infty }\frac{\sigma t+\mu }{\sqrt{2\pi }\sigma }{e}^{-\frac{t^2}{2}}\sigma dt=\mu$

2、随机变量函数的期望
a. 若 X ∼ P { X = x k } = p k , k = 1 , 2 , 3 , . . . X\sim P\{X=x_{k}\}=p_{k},k=1,2,3,... X∼P{X=xk​}=pk​,k=1,2,3,...，则$Y=g(X)$的期望$E(Y)=E[g(X)]={\sum }_{k=1}^{+\infty }g(x_k)p_k$，因此，若 ( X , Y ) ∼ P { X = x i , Y = y j } = p i j , i , j = 1 , 2 , 3 , . . . (X,Y)\sim P\{X=x_{i},Y=y_{j}\}=p_{ij},i,j=1,2,3,... (X,Y)∼P{X=xi​,Y=yj​}=pij​,i,j=1,2,3,...，则$Z=g(X,Y)$的期望$E(Z)=E[g(X,Y)]={\sum }_{j=1}^{+\infty }{\sum }_{i=1}^{+\infty }g(x_i,y_j)p_{ij}$。

b. 若$X\sim f(x),-\infty <x<+\infty$，则$Y=g(X)$的期望$E(Y)=E[g(X)]={\int }_{-\infty }^{+\infty }g(x)f(x)dx$，因此，若$(X,Y)\sim f(x,y),-\infty <x<+\infty ,-\infty <y<+\infty$，则$Z=g(X,Y)$的期望$E(Z)=E[g(X,Y)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$。

3、数学期望的性质
a. $E(c)=c,c$为常数；

b. $E(cX)=cE(X),c$为常数；
证明：设$X\sim f(x)$，则
$E(cX)={\int }_{-\infty }^{+\infty }cxf(x)dx=c{\int }_{-\infty }^{+\infty }xf(x)dx=cE(X)$

c. $E(X+Y)=E(X)+E(Y)$;
证明：设$(X,Y)\sim f(x,y)$，则
$E(X+Y)$
$={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x+y)f(x,y)dxdy$
$={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xf(x,y)dxdy+{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }yf(x,y)dxdy$
$={\int }_{-\infty }^{+\infty }x[{\int }_{-\infty }^{+\infty }f(x,y)dy]dx+{\int }_{-\infty }^{+\infty }y[{\int }_{-\infty }^{+\infty }f(x,y)dx]dy$
$={\int }_{-\infty }^{+\infty }x{f}_X(x)dx+{\int }_{-\infty }^{+\infty }y{f}_Y(y)dy$
$=E(X)+E(Y)$

d. 若$X$与$Y$独立，则$E(XY)=E(X)E(Y)$；
证明：设$(X,Y)\sim f(x,y)$，则
$E(XY)$
$={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xyf(x,y)dxdy$
$={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xy{f}_X(x)f_Y(y)dxdy$
${\int }_{-\infty }^{+\infty }x{f}_X(x)dx{\int }_{-\infty }^{+\infty }y{f}_Y(y)dy$
$=E(X)E(Y)$

4、方差
a. 方差本质上是衡量随机变量取值波动程度的一个数字特征。若$E[X-E(X){]}^2$存在，则称$E[X-E(X){]}^2$为$r.v.X$的方差，记为$D(X)$或$Var(X)$，称$\sigma (X)=\sqrt{D(X)}$为$r.v.X$的标准差或均方差。可见
D ( X ) = { ∑ k = 1 + ∞ [ x k − E ( X ) ] 2 P { X = x k } ,    离 散 型 ∫ − ∞ + ∞ [ x − E ( X ) ] 2 f ( x ) d x ,    连 续 型 D(X)=\begin{cases}\sum_{k=1}^{+\infty}[x_{k}-E(X)]^{2}P\{X=x_{k}\},\space\space离散型\\\\\int_{-\infty}^{+\infty}[x-E(X)]^{2}f(x)dx,\space\space连续型\end{cases} D(X)=⎩⎪⎨⎪⎧​∑k=1+∞​[xk​−E(X)]2P{X=xk​},  离散型∫−∞+∞​[x−E(X)]2f(x)dx,  连续型​

b. 推论：$D(X)=E(X^2)-[E(X){]}^2$
证明：$D(X)=E[X-E(X){]}^2$
= E { X 2 − 2 X E ( X ) + [ E ( X ) ] 2 } =E\{X^{2}-2XE(X)+[E(X)]^{2}\} =E{X2−2XE(X)+[E(X)]2}
$=E(X^2)-2E(X)E(X)+[E(X){]}^2$
$=E(X^2)-[E(X){]}^2$

c. 二项分布$b(n,p)$的方差
P { X = k } = C n k p k ( 1 − p ) n − k ,    k = 0 , 1 , 2 , … , n P\{X=k\}=C_{n}^{k}p_{k}(1-p)^{n-k},\space\space k=0,1,2,\dots,n P{X=k}=Cnk​pk​(1−p)n−k,  k=0,1,2,…,n
$E(X)=np$
$\Rightarrow E(X^2)$
$={\sum }_{k=1}^n{k}^2\frac{n!}{k!(n-k)!}{p}^k(1-p{)}^{n-k}$
$={\sum }_{k=1}^n\frac{kn!}{(k-1)!(n-k)!}{p}^k(1-p{)}^{n-k}$
$={\sum }_{k=1}^n\frac{(k-1+1)n!}{(k-1)!(n-k)!}{p}^k(1-p{)}^{n-k}$
$={\sum }_{k=1}^n\frac{(k-1)n!}{(k-1)!(n-k)!}{p}^k(1-p{)}^{n-k}+{\sum }_{k=1}^n\frac{n!}{(k-1)!(n-k)!}{p}^k(1-p{)}^{n-k}$
$={\sum }_{k=2}^n\frac{n!}{(k-2)!(n-k)!}{p}^k(1-p{)}^{n-k}+{\sum }_{k=1}^n\frac{n!}{(k-1)!(n-k)!}{p}^k(1-p{)}^{n-k}$
$={\sum }_{l=0}^{n-2}n(n-1)C_{n-2}^l{p}^{l+2}(1-p{)}^{n-2-l}+{\sum }_{j=0}^{n-1}n{C}_{n-1}^j{p}^{j+1}(1-p{)}^{n-1-j}$
$=n(n-1)p^2+np$
$\therefore D(X)=n(n-1)p^2+np-n^2{p}^2=np(1-p)$

d. 泊松分布$\pi (\lambda )$的方差
X ∼ P { X = k } = λ k k ! e − λ ,    k = 0 , 1 , 2 , … X\sim P\{X=k\}=\frac{\lambda^{k}}{k!}e^{-\lambda},\space\space k=0,1,2,\dots X∼P{X=k}=k!λk​e−λ,  k=0,1,2,…
$E(X)=\lambda$
$\Rightarrow D(X)=\lambda$

e. 均匀分布$U(a,b)$的方差
$X\sim f(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b\\ \\ 0,others\end{array}$
$E(X)=\frac{a+b}{2}$
$\Rightarrow D(X)=\frac{(b-a{)}^2}{12}$

f. 指数分布的方差
$X\sim f(x)=\{\begin{array}{l}\lambda e^{-\lambda x},x>0\\ \\ 0,x⩽0\end{array}$
$E(X)=\frac{1}{\lambda }$
$\Rightarrow D(X)=\frac{1}{{\lambda }^2}$

g. 正态分布$N(\mu ,{\sigma }^2)$的方差
$X\sim f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty$
$E(X)=\mu$
$\Rightarrow D(X)={\sigma }^2$

5、方差的性质
a. $D(c)=0,c$为常数。反之，若$D(X)=0$，则存在常数$c$，使 P { X = c } = 1 P\{X=c\}=1 P{X=c}=1；

b. $D(aX)=a^{2}D(X)$，$a$为常数；
证明：$D(aX)$
$=E(a^2{X}^2)-[E(aX){]}^2$
$=a^{2}E(X^2)-[aE(X){]}^2$
= a 2 { E ( X 2 ) − [ E ( X ) ] 2 } =a^{2}\{E(X^{2})-[E(X)]^{2}\} =a2{E(X2)−[E(X)]2}
$=a^{2}D(X)$

c. 若$X,Y$独立，则$D(X+Y)=D(X)+D(Y)$；
证明：$D(X+Y)$
$=E[(X+Y{)}^2]-[E(X+Y){]}^2$
= E { X 2 + 2 X Y + Y 2 } − { [ E ( X ) ] 2 + 2 E ( X ) E ( Y ) + [ E ( Y ) ] 2 } =E\{X^{2}+2XY+Y^{2}\}-\{[E(X)]^{2}+2E(X)E(Y)+[E(Y)]^{2}\} =E{X2+2XY+Y2}−{[E(X)]2+2E(X)E(Y)+[E(Y)]2}
$=D(X)+D(Y)+2E(XY)-2E(X)E(Y)$
$X$与$Y$独立 $\Rightarrow$ $E(XY)=E(X)E(Y)$
$\therefore D(X+Y)=D(X)+D(Y)$
推广一下，若$X_1,X_2,\dots ,X_n$独立，则
$D({\sum }_{i=1}^n{X}_i)={\sum }_{i=1}^{n}D(X_i)$。

6、切比雪夫不等式
若$r.v.X$的期望和方差存在，则对任意$\epsilon >0$，有
P { ∣ X − E ( X ) ∣ ⩾ ε } ⩽ D ( X ) ε 2 P\{|X-E(X)|\geqslant\varepsilon\}\leqslant\frac{D(X)}{\varepsilon^{2}} P{∣X−E(X)∣⩾ε}⩽ε2D(X)​
上式等价于 P { ∣ X − E ( X ) ∣ < ε } ⩾ 1 − D ( X ) ε 2 P\{|X-E(X)|<\varepsilon\}\geqslant1-\frac{D(X)}{\varepsilon^{2}} P{∣X−E(X)∣<ε}⩾1−ε2D(X)​。

7、协方差
a. 定义：若$r.v.X$的期望$E(X)$和$Y$的期望$E(Y)$存在，则称 C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}为$X$与$Y$的协方差，易知$Cov(X,Y)=E(XY)-E(X)E(Y)$。

b. 性质：
$(1)$ $Cov(X,Y)=Cov(Y,X)$；
$(2)$ $Cov(X,X)=D(X),Cov(X,c)=0$；
$(3)$ $Cov(aX,bY)=abCov(X,Y)$，其中$a,b$为常数；
$(4)$ $Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)$；
$(5)$ $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$；
$(6)$ $[Cov(X,Y){]}^2⩽D(X)D(Y)$。

8、相关系数
a. 定义：若$r.v.X$的方差和协方差均存在，且$D(X)>0,D(Y)>0$，则$\rho ={\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$称为$X$与$Y$的相关系数。

b. 性质：
$(1)$ $|{\rho }_{XY}|⩽1$；
$(2)$ $|{\rho }_{XY}|=1\iff$ 存在常数$a,b$，使 P { Y = a X + b } = 1 P\{Y=aX+b\}=1 P{Y=aX+b}=1；
$(3)$ $X$与$Y$不相关 $\iff {\rho }_{XY}=0$（与独立相区分）。
注意：若$(X,Y)$服从二维正态分布，则$X$与$Y$独立的充要条件是$X$与$Y$不相关。

9、矩与协方差矩阵
a. $K$阶（原点）矩：$E(X^k),k=1,2,3,\dots$

b. $K$阶中心矩：$E[X-E(X){]}^k,k=2,3,4,\dots$

c. $K+I$阶混合原点矩：$E(X^k{Y}^i),k,i=1,2,3,\dots$

d. $K+I$阶混合中心矩： E { [ X − E ( X ) ] k [ Y − E ( Y ) ] i } , k , i = 1 , 2 , 3 , … E\{[X-E(X)]^{k}[Y-E(Y)]^{i}\},k,i=1,2,3,\dots E{[X−E(X)]k[Y−E(Y)]i},k,i=1,2,3,…

e. 设$X=(X_1,X_2,\dots ,X_n{)}^T$为$n$维$r.v.$，则称$E(X)=(E(X_1),E(X_2),\dots ,E(X_n){)}^T$为其期望向量。

f. 设$X_1,X_2,\dots ,X_n$为$n$维$r.v.$，记$c_{ij}=Cov(X_i,Y_j),i,j=1,2,3,\dots ,n$，则称由$c_{ij}$组成的矩阵为随机变量$X_1,X_2,\dots ,X_n$的协方差矩阵$C$，即
$C=(c_{ij}{)}_{n\times n}=\left[\begin{array}{cccc}{c}_{11}& c_{12}& \dots & c_{1n}\\ & & & \\ c_{21}& c_{22}& \dots & c_{2n}\\ & & & \\ \dots & \dots & \dots & \dots \\ & & & \\ c_{n1}& c_{n2}& \dots & c_{nn}\end{array}\right]$。

10、$n$维正态分布
a. 相互独立正态随机变量的线性组合还是正态随机变量，即若$X_1,X_2,\dots ,X_n$相互独立，且$X_i\sim N({\mu }_i,{\sigma }_i),i=1,2,3,\dots ,n$，则对任意常数${\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n$，有
${\sum }_{i=1}^n{\alpha }_i{X}_i\sim N({\sum }_{i=1}^n{\alpha }_i{\mu }_i,{\sum }_{i=1}^n{\alpha }_i^2{\sigma }_i^2)$。

b. $r.v.(X_1,X_2,\dots ,X_n{)}^T$服从$n$维正态分布的充要条件是$X_1,X_2,\dots ,X_n$的任意线性组合$I_1{X}_1+I_2{X}_2+\cdots +I_n{X}_n$服从一维正态分布。