随机变量的数字特征

随机变量的数字特征通常更容易获得，通过随机变量的数字特征我们可以更好的了解随机变量。不同的数字特征展现了随机变量的不同特点。期望是对随机变量的一个总体概括，方差体现了随机变量的离散程度，协方差更多的描述了随机变量之间的线性关系。在此基础上产生了反映超过三个随机变量的特征的工具：协方差矩阵。

基本概念：

期望：

$$E(x)=\sum _{k=1}^{\infty }{x}_k{p}_k$$
设连续型随机变量X的概率密度为$f(x)$若积分${\int }_{-\infty }^{\infty }xf(x)dx$绝对收敛
则：
$E(X)={\int }_{-\infty }^{\infty }xf(x)dx$
推广到二维随机变量：
$E(X)=\int \int xf(x,y)dxdy$

性质:

1. 设$C$为常数则$E(C)=C$
2. 设$C$为常数则$E(CX)=CE(X)$
3. $E(X+Y)=E(X)+E(Y)$与$X$和$Y$是否独立无关
4. 设$XY$相互独立$E(XY)=E(X)E(Y)$

由2 3得数学期望的线性性质：
$E(C_{1}X+C_{2}X+...+C_{n}X)=E(C_{1}X)+E(C_{2}X)+....+E(C_{n}X)$

还有一个较为特殊的性质：
$E(XY)=E(X)E(Y)+E[(X-E(X)(Y-E(Y))]$
其中的$E[(X-E(X)(Y-E(Y))]$是两个随机变量的协方差。

$$E[g(x)]=\sum _{k=1}^{\infty }g(x_k)p_k$$

当${\int }_{-\infty }^{\infty }g(x)f(x)dx$绝对收敛时：
$$E(Y)={\int }_{-\infty }^{\infty }g(x)f(x)dx$$

性质的证明：

$$\begin{array}{rl}& E(X+Y)\\ =& \int \int (x+y)f(x,y)dxdy\\ =& \int \int [xf(x,y)+yf(x,y)]dxdy(由\int xf(x,y)dy=x{f}_X(x)可得下式)\\ =& \int xf(x)dx+\int yf(y)dy\\ =& E(X)+E(Y)\end{array}$$
假设$XY$完全相互独立
$$\begin{array}{rl}E(XY)& =\int \int xyf(x,y)dxdy\\ & =\int \int xyf(x)f(y)dxdy\\ & =\underset{yf(y)可以被看作是一个常数}{\int dy\underbrace{\int xf(x)yf(y)dx}}\\ & =\int yf(y)dy\int xf(x)dx\\ & =E(Y)E(Y)\end{array}$$

方差:

定义：若期望$E(x)$存在$E\{(X-E(X){)}^2\}$，则称$E\{(X-XE(X){)}^2\}$为$x$的方差，记为$D(x)$或$Var(x)$。

$D(x)=E\{(X-E(X){)}^2\}=E(X^2)-[E(X){]}^2$

由定义可知
$D(x)={\sum }_{k=1}^{\infty }(x_k-E(x){)}^2{p}_k$

方差为非负数，表示$X$的取值的分散程度。

性质

1. $D(C)=0$
2. $D(CX)=C^{2}D(X)D(X+C)=D(X)$
3. D ( X + Y ) = D ( X ) + D ( Y ) + 2 E { X − E ( X ) } E { Y − E ( Y ) } D(X+Y)=D(X)+D(Y)+2E\{X-E(X)\}E\{Y-E(Y)\} D(X+Y)=D(X)+D(Y)+2E{X−E(X)}E{Y−E(Y)}
4. 若$XY$相互独立则：$D(X+Y)=D(X)+D(Y)$ $D(X)=0$的充要条件是$X$以概率1取常数$E(X)$

性质的证明：

证：$D(x)=E(X^2)-[E(X){]}^2$
D ( x ) = E { ( X − E ( X ) ) 2 } = E { X 2 + E ( X ) 2 − 2 X E ( X ) } = E ( X 2 ) + [ E ( X ) ] 2 − 2 [ E ( X ) ] 2 = E ( X 2 ) − [ E ( X ) ] 2 \begin{aligned} D(x)&= E\{(X-E(X))^2\}\\ &=E\{X^2+E(X)^2-2XE(X)\}\\ &=E(X^2)+[E(X)]^2-2[E(X)]^2\\ &=E(X^2)-[E(X)]^2 \end{aligned} D(x)​=E{(X−E(X))2}=E{X2+E(X)2−2XE(X)}=E(X2)+[E(X)]2−2[E(X)]2=E(X2)−[E(X)]2​
证：性质3
$$\begin{array}{rl}& D(X+Y)\\ =& E\{[X+Y-E(X+Y){]}^2\}\\ =& E\{[X-E(X)+Y-E(Y){]}^2\}\\ =& E\{[X-E(X){]}^2\}+E\{[Y-E(Y){]}^2\}+2E\{[X-E(X)][Y-E(Y)]\}\\ =& D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)]\}\end{array}$$

切比雪夫不等式：

P { ∣ X − E ( X ) ∣ ≥ ξ } ≤ D ( X ) ξ 2 P\{|X-E(X)| \ge \xi\}\leq \frac{D(X)}{\xi^2} P{∣X−E(X)∣≥ξ}≤ξ2D(X)​
或： P { ∣ X − E ( X ) ∣ < ξ } ≥ 1 − D ( X ) ξ 2 P\{|X-E(X)| <\xi\}\ge 1-\frac{D(X)}{\xi^2} P{∣X−E(X)∣<ξ}≥1−ξ2D(X)​
证明：
P { ∣ X − E ( X ) ∣ ≥ ξ } = ∫ ∣ X − E ( X ) ∣ ≥ ξ ∞ f ( x ) d x ∵ ∣ X − E ( X ) ∣ < ξ ∴ [ X − E ( X ) ] 2 ξ 2 ≥ 1 ∴ 原式 ≤ ∫ ∣ X − E ( X ) ∣ ≥ ξ ∞ [ X − E ( X ) ] 2 ξ 2 f ( x ) d x ( 因为 f ( x ) 不小于 0 所以这里才能进行下一步的变换 ) ≤ ∫ − ∞ ∞ [ X − E ( X ) ] 2 ξ 2 f ( x ) d x = 1 ξ 2 ∫ − ∞ ∞ [ X − E ( X ) ] 2 f ( x ) d x = D ( x ) ξ 2 \begin{aligned} &P\{|X-E(X)| \ge \xi\} \\ =&\int_{|X-E(X)| \ge \xi}^\infty f(x)dx\\ &\because |X-E(X)| <\xi\\ &\therefore \frac{[X-E(X)]^2}{\xi^2}\ge1\\ &\therefore 原式\leq \int_{|X-E(X)| \ge \xi}^\infty \frac{[X-E(X)]^2}{\xi^2}f(x)dx\quad \\ &(因为f(x)不小于0所以这里才能进行下一步的变换)\\ &\leq \int_{-\infty}^\infty \frac{[X-E(X)]^2}{\xi^2}f(x)dx \\ &=\frac{1}{\xi^2}\int_{-\infty}^\infty [X-E(X)]^2f(x)dx\\ &=\frac{D(x)}{\xi^2} \end{aligned} =​P{∣X−E(X)∣≥ξ}∫∣X−E(X)∣≥ξ∞​f(x)dx∵∣X−E(X)∣<ξ∴ξ2[X−E(X)]2​≥1∴原式≤∫∣X−E(X)∣≥ξ∞​ξ2[X−E(X)]2​f(x)dx(因为f(x)不小于0所以这里才能进行下一步的变换)≤∫−∞∞​ξ2[X−E(X)]2​f(x)dx=ξ21​∫−∞∞​[X−E(X)]2f(x)dx=ξ2D(x)​​

协方差和相关系数

$Cov(X，Y)=E\{[X-E(X)][Y-E(Y)]\}$
协方差是描述$XY$之间的关系的数字特征，当$XY$相互独立时$Cov(X,Y)=0$，相关系数用来衡量线性关系。
${\rho }_{XY}=\frac{Cov(X，Y)}{\sqrt{D(X)}\sqrt{D(Y)}}|{\rho }_{XY}|\le 1$

性质

$Cov(X,X)=D(X)$
$Cov(X,Y)=E(XY)-E(X)E(Y)$
$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$
$Cov(aX,bY)=abCov(X,Y)$
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
$|{\rho }_{XY}|=1$的
概率为一的事件并不是必然事件。
当${\rho }_{XY}=1$时称为正线性相关
当${\rho }_{XY}=0$时称为不相关
当${\rho }_{XY}=-1$时称为负线性相关
事实上当$|{\rho }_{XY}|=1$时存在$ab$使$Y=aX+b$此时:
$$\begin{array}{rl}Cov(X,Y)& =Cov(X,aX+b)\\ & =Cov(X,aX+b)\\ & =Cov(X,aX)+Cov(X,b)\\ & =aCov(X,X)+Cov(X,b)\\ & =aD(X)\end{array}$$
独立和相关的关系：
独立一定不相关，不相关未必独立
二维的正太随机变量的相关和独立等价
一般情况下相关和独立不等价

性质的证明

$$\begin{array}{rl}& E\{[X-E(X)][Y-E(Y)]\}\\ =& E[XY-XE(Y)-YE(X)+E(X)E(Y)]\\ =& E[XY]-E[XE(Y)]-E[YE(X)]+E[E(X)E(Y)]\\ =& E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)(Y)\\ =& E(XY)-E(X)E(Y)\end{array}$$

矩、协方差矩阵

矩：
原点矩：$E(X^k)$
中心矩：$E\{[X-E(X){]}^k\}$
$k+l$阶混合矩$E(X^k{Y}^l)$
$k+l$阶混合中心矩$E\{[X-E(X){]}^k[Y-E(Y){]}^l\}$
协方差矩阵：
设$n$维随机变量$(X_1,X_2,X_3,....,X_n)$的二维混合中心矩阵
$c_{ij}=Cov(X_i,X_j)$都存在，则称矩阵
$$C=\left(\begin{array}{cc}{c}_{11}& c_{12}......c_{1n}\\ c_{21}& c_{22}......c_{2n}\\ ..& ..\\ c_{n1}& c_{n2}......c_{nn}\end{array}\right)$$
为协方差矩阵。

各种分布的期望和方差

均匀分布

$$f(x)=\{\begin{array}{ll}\frac{1}{b-a}& x\in [a,b]\\ 0& 其他\end{array}$$
$E(x)=\frac{a+b}{2}$
$D(x)=\frac{1}{12}(b-a{)}^2$

正太分布

$$f(x)=\frac{1}{\sqrt{2\sigma }\pi }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
$E(x)=\mu$
$D(x)={\sigma }^2$

(0，1)分布

x	0	1
$P_k$	1-p	p

$E(X)=p$
$D(X)=p(1-p)$

二项分布

将二项分布拆成$n$个如上表的0-1分布相加
$E(x)=np$
$D(X)=np(1-p)$

泊松分布

$E(x)=\lambda$
$D(x)=\lambda$

指数分布

$$f(x)=\{\begin{array}{ll}\frac{1}{\theta }{e}^{-\frac{x}{\theta }}& x>0\\ 0& x\le 0\end{array}$$
$$\begin{array}{rl}E(X)& ={\int }_0^{\infty }xf(x)dx\\ & ={\int }_0^{\infty }\frac{x}{\theta }{e}^{-\frac{x}{\theta }}dx\\ 令：t=\frac{x}{\theta }& \\ x=\theta t& \\ E(X)& ={\int }_0^{\infty }t{e}^{-t}d(\theta t)\\ & ={\int }_0^{\infty }\theta t{e}^{-t}dt\\ & =\theta {\int }_0^{\infty }t{e}^{-t}dt\\ & =\theta \end{array}$$

方差：
$D(X)={\theta }^2$