概率论笔记—随机变量的数字特征

一、一维随机变量的数字特征

1. 数学期望

① 如果$X$是离散型随机变量，其分布列为 p i = P { X = x i } ( i = 1 , 2 , ⋅ ⋅ ⋅ ) p_i=P\{ X=x_i \} (i=1,2,···) pi​=P{X=xi​}(i=1,2,⋅⋅⋅)。若级数$\sum _{i=1}^{\infty }{x}_i{p}_i$绝对收敛，则称随机变量$X$的数学期望存在，并将级数和$\sum _{i=1}^{\infty }{x}_i{p}_i$称为随机变量$X$的数学期望，记为$E(X)$或$EX$，即$EX=\sum _{i=1}^{\infty }{x}_i{p}_i$。

② 如果$X$是连续型随机变量，其概率密度为$f(x)$。若积分${\int }_{-\infty }^{+\infty }xf(x)dx$绝对收敛，则称$X$的数学期望存在，且$EX={\int }_{-\infty }^{+\infty }xf(x)dx$。否则称$X$的数学期望不存在。

注：数学期望又称概率平均值，简称期望或均值。数学期望是描述随机变量平均取值状况特征的指标，它描述随机变量的一切可能值的集中位置。

2. 方差和标准差

设$X$是随机变量，如果$E[(X-EX{)}^2]$存在，则称$E[(X-EX{)}^2]$为$X$的方差，记为$DX$，即：
$$DX=E[(X-EX{)}^2]=E(X^2)-(EX{)}^2$$
称$\sqrt{DX}$为标准差或均方差，记为$\sigma (X)$，称随机变量$X^{\ast }=\frac{X-EX}{\sqrt{DX}}$为$X$的标准化随机变量，此时$E{X}^{\ast }=0,D{X}^{\ast }=1$。

3. 切比雪夫不等式

如果随机变量$X$的方差$DX$存在，则对任意$ϵ>0$，有：
P { ∣ X − E X ∣ ≤ ϵ } ≥ D X ϵ 2 P\{ |X-EX|\le \epsilon \} \ge \frac {DX} {\epsilon ^2} P{∣X−EX∣≤ϵ}≥ϵ2DX​

二、二维随机变量的数字特征

1. 二维随机变量函数的数学期望

设$X,Y$为随机变量，$g(X,Y)$为$X,Y$的函数。

① 如果$(X,Y)$为离散型随机变量，其联合分布为:
p i j = P { X = x i , Y = y j } ( i , j = 1 , 2 , ⋅ ⋅ ⋅ ) p_{ij} = P\{ X=x_i,Y=y_j \} (i,j=1,2,···) pij​=P{X=xi​,Y=yj​}(i,j=1,2,⋅⋅⋅)
若级数$\sum _i\sum _{j}g(x_i,y_j)p_{ij}$绝对收敛，则定义：
$$E[g(X,Y)]=\sum _i\sum _{j}g(x_i,y_j)p_{ij}$$
② 如果$(X,Y)$为连续型随机变量，其概率密度为$f(x,y)$，若积分${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$绝对收敛，则定义：
$$E[g(X,Y)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$$

2. 协方差和相关系数

如果随机变量$X,Y$的方差存在且$DX>0,DY>0$，则称$E[(X-EX)(Y-EY)]$为随机变量$X,Y$的协方差，并记为$Cov(X,Y)$，即：
$$Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX\cdot EY$$
其中：
E ( X Y ) = { ∑ i ∑ j x i y j P { X = x i , Y = y j }   ( 离 散 型 ) ∫ − ∞ + ∞ ∫ − ∞ + ∞ x y f ( x , y ) d x d y   ( 连 续 型 ) E(XY) = \begin{cases} \sum \limits _i \sum \limits _j x_i y_j P\{ X=x_i,Y=y_j \} \ (离散型) \\\\ \int ^{+\infty} _{-\infty} \int ^{+\infty} _{-\infty} xyf(x,y)dxdy \ (连续型) \end{cases} E(XY)=⎩⎪⎪⎨⎪⎪⎧​i∑​j∑​xi​yj​P{X=xi​,Y=yj​} (离散型)∫−∞+∞​∫−∞+∞​xyf(x,y)dxdy (连续型)​
称${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$为随机变量$X,Y$的相关系数。如果${\rho }_{XY}=0$，则称$X,Y$不相关；如果${\rho }_{XY}\ne 0$，则称$X,Y$相关。

注：随机变量$X,Y$不相关，指$X$与$Y$之间不存在线性相关性，${\rho }_{XY}=0$。但可能还存在非线性相关关系。

三、独立性与相关性

随机变量$X,Y$相互独立，指对任意实数$x,y$，事件 { X ≤ x } \{ X \le x \} {X≤x}与 { Y ≤ y } \{ Y \le y \} {Y≤y}相互独立，即$(X,Y)$的联合分布等于边缘分布相乘：$F(x,y)=F_X(x)\cdot F_Y(y)$。

① 连续型，$X,Y$相互独立：
$$f(x,y)=f_X(x)\cdot f_Y(y)$$
② 离散型，$X,Y$相互独立：
P { X ≤ x i , Y ≤ y j } = P { X ≤ x i } ⋅ P { Y ≤ y j } P\{ X \le x_i,Y \le y_j \} = P\{ X \le x_i \} · P\{ Y \le y_j \} P{X≤xi​,Y≤yj​}=P{X≤xi​}⋅P{Y≤yj​}

注：
① 如果$X,Y$独立，则$X,Y$不相关，反之不然。
② 如果$X,Y$相关，则$X,Y$不独立，反之不然。
③ 如果$(X,Y)$服从二维正态分布，则$X,Y$独立 $\iff X,Y$不相关。