随机变量的数字特征

备忘录

均值与期望

• 均值其实是针对实验观察到的特征样本 { x 1 , x 2 , ⋯   , x N } \{x_1,x_2,\cdots,x_N\} {x1​,x2​,⋯,xN​}而言的，是一个统计量(对观察样本的统计)。
  $$r=\frac{x_1+x_2+\cdots +x_N}{N}\text{\hspace{1em}(1.1)}$$

• 期望是针对于随机变量而言的一个量，可以理解是一种站在“上帝视角”的值。针对于他的样本空间而言的，是一种概率论概念，是一个数学特征。

设离散型随机变量$X$的分布律为：
P { X = x k } = p k , k = 1 , 2 , ⋯   . P\{X=x_k \}=p_k,\quad k=1,2,\cdots. P{X=xk​}=pk​,k=1,2,⋯.
若级数
$$\sum _{k=1}^{\infty }{x}_k{p}_k$$
绝对收敛，则称级数${\sum }_{k=1}^{\infty }{x}_k{p}_k$的和为随机变量$X$的数学期望，记为$E(X)$。即
$$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k\text{\hspace{1em}(1.2)}$$

设连续型随机变量$X$的概率密度为$f(x)$，若积分为：
$${\int }_{\infty }^{\infty }xf(x)dx$$
绝对收敛，则称积分${\int }_{\infty }^{\infty }xf(x)dx$的值为随机变量$X$的数学期望，记为$E(X)$。即
$$E(X)={\int }_{\infty }^{\infty }xf(x)dx\text{\hspace{1em}(1.3)}$$

• 定理 设$Y$是随机变量$X$的函数：$Y=g(X)$（$g$是连续函数)
  （i）如果$X$是离散型随机变量，他的分布律为 P = { X = x k } = p k , k = 1 , 2 , ⋯   , P=\{X=x_k\}=p_k,k=1,2,\cdots, P={X=xk​}=pk​,k=1,2,⋯,若${\sum }_{k=1}^{\infty }g(x_k)p_k$绝对收敛，则有
  $$E(Y)=E[g(X)]=\sum _{k=1}^{\infty }g(x_k)p_k\text{\hspace{1em}(1.4)}$$
  (ii)如果$X$是连续型随机变量，它的概率密度为$f(x)$，若${\int }_{-\infty }^{\infty }g(x)f(x)dx$绝对收敛，则有
  $$E(Y)=E[g(X)]={\int }_{-\infty }^{\infty }g(x)f(x)dx\text{\hspace{1em}(1.5)}$$
• 期望的性质
  1˚设$C$是常数，则有$E(C)=C$
  2˚设$X$是一个随机变量，$C$是一个常数，则有
  $$E(CX)=CE(X)$$
  3˚设$X，Y$是两个随机变量，则有
  $$E(X+Y)=E(X)+E(Y)$$
  4˚设$X，Y$是相互独立的随机变量，则有
  $$E(XY)=E(X)E(Y)$$

方差

• 设$X$是一个随机变量，若 E { [ X − E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X−E(X)]2}存在，则称 E { [ X − E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X−E(X)]2}为$X$的方差，记为$D(X)$或$Var(X)$,即
  D ( X ) = V a r ( X ) = E { [ X − E ( X ) ] 2 } (2.1) D(X)=Var(X)=E\{[X-E(X)]^2\}\tag{2.1} D(X)=Var(X)=E{[X−E(X)]2}(2.1)
  在应用上还引入量$\sqrt{D(X)}$,记为记为$\sigma (X)$,称为标准差或均方差。

随机变量$X$的方差表达了$X$的取值与其数学期望的偏离程度，若$D(X)$较小意味着$X$的取值比较集中在$E(X)$的附近，反之，若 $D(X)$较大则表示$X$的取值较分散。因此，$D(X)$是刻画$X$的取值分散程度的一个量。

由定义知道，方差实际上就是随机变量$X$的函数$g(X)=(X-E(X){)}^2$的数学期望，于是对于离散型随机变量，按公式（1.4）有
$$D(X)=\sum _{k=1}^{\infty }[x_k-E(X){]}^2{p}_k\text{\hspace{1em}(2.2)}$$
其中 P { X = x k } − p k , k = 1 , 2 , ⋯ P\{X=x_k\}-p_k,k=1,2,\cdots P{X=xk​}−pk​,k=1,2,⋯是$X$的分布律。

对于连续型随机变量，按公式（1.5）有
$$D(X)={\int }_{-\infty }^{\infty }[x-E(X){]}^{2}f(x)dx\text{\hspace{1em}(2.3)}$$

随机变量$X$的方差，可按下列公式计算
$$D(X)=E(X^2)-[E(X){]}^2\text{\hspace{1em}(2.4)}$$

• 方差的性质
  1˚设$C$是常数，则有$D(C)=C$
  2˚设$X$是一个随机变量，$C$是一个常数，则有
  $$\begin{array}{rl}D(CX)& =C^{2}D(X)\\ D(X+C)& =D(X)\end{array}$$
  3˚设$X，Y$是两个随机变量，则有
  $$D(X+Y)=D(X)+D(Y)+2E(X-E(X))(Y-E(Y))\text{\hspace{1em}(2.5)}$$
  特别的，若$X，Y$是相互独立，则有
  $$D(X+Y)=D(X)+D(Y)\text{\hspace{1em}(2.6)}$$
  4˚$D(X)=0$的充要条件是$X$以概率1取常数$E(X)$,即
  P { X = E ( X ) } = 1 P\{X=E(X)\}=1 P{X=E(X)}=1

协方差

• 定义：量 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } E\{ [X-E(X)] [Y-E(Y)]\} E{[X−E(X)][Y−E(Y)]}称为随机变量$X$与$Y$的协方差。记为$Cov(X,Y)$，即
  C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } . Cov(X,Y)=E\{ [X-E(X)] [Y-E(Y)]\}. Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}.
  而
  $${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
  称为随机变量$X$与$Y$的相关系数

• 关于相关系数：
  1˚ $|{\rho }_{XY}|\le 1$
  2˚$|{\rho }_{XY}|=1$的充要条件是，存在常数$a，b$使
  P { Y = a + b X } = 1 P\{Y=a+bX\}=1 P{Y=a+bX}=1
  3˚$|{\rho }_{XY}|$较大时，我们称$X$与$Y$线性相关程度较好，反之则较差。
  4˚$|{\rho }_{XY}|=0$时，称$X$与$Y$不相关

• 由定义即知
  $$\begin{array}{rl}Cov(X,Y)& =Cov(Y,X)\\ Cov(X,X)& =D(X)\end{array}$$
  由上述定义及（2.5）知，对于任意两个随机变量$X$与$Y$，下列等式成立：
  $$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\text{\hspace{1em}(3.1)}$$
  将$Cov(X,Y)$的定义式展开，易得
  $$Cov(X,Y)=E(XY)-E(X)E(Y)\text{\hspace{1em}(3.2)}$$
  我们常用这个式子计算协方差。

• 协方差具有下述性质：
  1˚$Cov(aX,bY)=abCov(X_1,Y)+Cov(X_2,Y)$,$a,b$是常数。
  2˚$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

协方差矩阵

设$X$与$Y$是随机变量。

• 若
  $$E(X^k),k=1,2,\cdots$$
  存在，称它为$X$的 $k$阶原点矩，简称 $k$阶矩。

• 若
  E { [ X − E ( X ) ] k } , k = 1 , 2 , ⋯ E\{[X-E(X)]^k\},k=1,2,\cdots E{[X−E(X)]k},k=1,2,⋯
  存在，称它为$X$的 $k$阶中心矩

• 若
  $$E(X^k{Y}^l),k,l=1,2,\cdots$$
  存在，称它为$X$和$Y$的 $k+l$阶混合矩。

• 若
  E { [ X − E ( X ) ] k [ Y − E ( Y ) ] l } , k , l = 1 , 2 , ⋯ E\{[X-E(X)]^k[Y-E(Y)]^l\},k,l=1,2,\cdots E{[X−E(X)]k[Y−E(Y)]l},k,l=1,2,⋯
  存在，称它为$X$和$Y$的 $k+l$阶混合中心矩。

显然，$X$的数学期望$E(X)$是$X$的一阶原点矩。方差$D(X)$是$X$的二阶中心矩，协方差$Cov(X,Y)$是$X$和$Y$的二阶混合中心矩

• 定义：
  设$n$维随机变量$（X_1,X_2,\cdots ,X_n）$的二阶混合中心矩 c i j = C o v ( X , Y ) = E { [ X i − E ( X i ) [ X j − E ( X j ) } , i , j = 1 , 2 , ⋯   , n c_ij=Cov(X,Y)=E\{[X_i-E(X_i)[X_j-E(X_j)\},i,j=1,2,\cdots,n ci​j=Cov(X,Y)=E{[Xi​−E(Xi​)[Xj​−E(Xj​)},i,j=1,2,⋯,n都存在，则称矩阵

$$C=\left[\begin{array}{cccc}{C}_{11}& C_{12}& \cdots & C_{1n}\\ C_{21}& C_{22}& \cdots & C_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ C_{n1}& C_{n2}& \cdots & C_{nn}\end{array}\right]$$
为$n$维随机变量$（X_1,X_2,\cdots ,X_n）$的协方差矩阵。是一个对称矩。