随机变量的数字特征

数学期望

离散型

设离散型随机变量$X$的分布律为：

$$P\{X=x_k\}=p_k,\quad k=1,2,\cdots$$
若级数

∑k=1∞xkpk ∑ k = 1 ∞ x k p k

$$\sum_{k=1}^{\infty}x_kp_k$$
绝对收敛，则称级数$\sum_{k=1}^{\infty}x_kp_k$的和为随机变量$X$的数学期望，即为$E(X)$
即：
$$E(X)=\sum_{k=1}^{\infty}x_kp_k$$

连续型

设连续型随机变量$X$的概率密度为$f(x)$，若积分

∫+∞−∞xf(x)dx ∫ − ∞ + ∞ x f ( x ) d x

$$\int_{-\infty}^{+\infty}xf(x)\mathbb{d}x$$
绝对收敛，则称积分$\int_{-\infty}^{+\infty}xf(x)\mathbb{d}x$的值为变量$X$的数学期望，记为$E(X)$，即：
$$E(x)=\int_{-\infty}^{+\infty}xf(x)\mathbb{d}x$$
数学期望简称期望，又称均值
数学期望$E(X)$完全由随机变量$X$的概率分布所确定。若$X$服从某一分布，也称$E(X)$是这一分布的数学期望。

定理：

设$Y$是随机变量$X$的函数：$Y=g(X)$（$g$是连续函数）
$(I)$如果$X$是离散型随机变量，它的分布律$P\{X=x_k\}=p_k,k=1,2,\cdots$，若$\sum_{k=1}^{\infty}g(x_k)p_k$绝对收敛，则有：

E(Y)=E[g(X)]=∑k=1∞g(xk)pk E ( Y ) = E [ g ( X ) ] = ∑ k = 1 ∞ g ( x k ) p k

$$E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k$$
$(II)$如果$X$是连续型随机变量，它的概率密度为$f(x)$，若$\int_{-\infty}^{\infty}g(x)f(x)\mathbb{d}x$绝对收敛，则有：
$$E(Y)=E[g(X)]=\int_{-\infty}^{\infty}g(x)f(x)\mathbb{d}x$$

方差

方差是为了研究随机变量与其均值的偏离程度。

$$E\left\{|X-E(X)|\right\}$$
能够度量随机变量与其均值的偏离程度。但是由于上式带有绝对值，运算不方便，于是为了运算方便起见。通常使用 $$E\left\{[X-E(X)]^2\right\}$$ 来度量随机变量$X$与其均值$E(X)$的偏离程度。

定义：

设$X$是一个随机变量，若$E\left\{[X-E(X)]^2\right\}$存在，则称$E\left\{[X-E(X)]^2\right\}$为$X$的方差，记为$D(X)$或$Var(X)$，即：

$$D(X)=Var(x)=E\left\{[X-E(X)]^2\right\}$$ 在应用上还引入量$\sqrt{D(X)}$，记为$\sigma{(X)}$称为标准差或均方差
由定义而言方差就是随机变量$X$的函数$g(X)=\left[X-E(X)\right]^2$的数学期望
于是对于离散型随机变量有： $$D(X)=\sum_{k=1}^{\infty}[x_k-E(X)]^2p_k$$
其中$P\{X=x_k\}=p_k,k=1,2,\cdots$是$X$的分布律
对于连续型随机变量有： $$D(X)=\int_{-\infty}^{\infty}[x-E(X)]^2f(x)\mathbb{d}x$$ 其中$f(x)$是$X$的概率密度
随机变量$X$的方差可以按照以下公式计算：
$$D(X)=E(X^2)-[E(X)]^2$$

标准化变量

设随机变量$X$具有数学期望$E(X)=\mu$,方差$D(X)=\sigma^2\neq0$记：

$$X^{*}=\dfrac{X-\mu}{\sigma}$$
则 $$E(X^{*})=\dfrac{1}{\sigma}E(X-\mu)==\dfrac{1}{\sigma}[E(X)-\mu]=0$$
$$\begin{aligned}D(X^{*})&=E({X^{*}}^2)-[E(X^{*})]^2=E\left[\left(\dfrac{X-\mu}{\sigma}\right)^2\right]\\ &=\dfrac{1}{\sigma^2}E[(X-\mu)^2]=\dfrac{\sigma^2}{\sigma^2}=1\\ \end{aligned}$$
方差的几个重要性质：
$1^{\circ}$

设$C$是常数，则$D(C)=0$
$2^{\circ}$

设$X$是随机变量，$C$是常数，则有

$$D(\color{red}CX)=\color{red}{C^2}D(X),\quad D(X+\color{red}C)=D(X)$$
$3^{\circ}$

设$X,Y$是两个随机变量，则有

$$D(\color{red}X+\color{blue}Y)=D(\color{red}X)+D(\color{blue}Y)+2E\{\color{red}{(X-E(X))}\color{blue}{(Y-E(Y))}\}$$
特别的若$X,Y$相互独立，则有
$$D(\color{red}X+\color{blue}Y)=D(\color{red}X)+D(\color{blue}Y)$$
$4^{\circ}$

$D(X)=0$的充分必要条件是$X$以概率为$1$取常数$E(X)$，即：

$$P\{X=E(X)\}=1$$

协方差及相关系数

在方差的性质$3^{\circ}$中，如果两个随机变量$X$和$Y$相互独立则：$E\{\color{red}{(X-E(X))}\color{blue}{(Y-E(Y))}\}=0$这意味着如果$E\{\color{red}{(X-E(X))}\color{blue}{(Y-E(Y))}\}\neq0$，$X$和$Y$不相互独立，而是存在一定的关系。
定义：
量$E\{\color{red}{(X-E(X))}\color{blue}{(Y-E(Y))}\}$称为随机变量$X$与$Y$的协方差，记为$Cov(X,Y)$，即：

$$Cov(X,Y)=E\{\color{red}{(X-E(X))}\color{blue}{(Y-E(Y))}\}$$ 而：$\rho_{XY}=\dfrac{Cov_{XY}}{\sqrt{D(X)}\sqrt{D(Y)}}$称为变量$X$和$Y$的相关系数。
由定义：
$$Cov(X,Y)=Cov(Y,X);Cov(X,X)=D(X)$$
协方差性质：
$1^{\circ}$ :$Cov(aX,bY)=abCov(X,Y)$
$2^{\circ}$ :$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

$\rho_{XY}$性质：

$1^{\circ}$:$|\rho_{XY}|\leq1$
$2^{\circ}$:$|\rho_{XY}|=1$的充分必要条件是，存在常数$a,b$使得：

$$P\{Y=a+bX\}=1$$
$3^{\circ}$：$|\rho_{XY}|=0$称$X$和$Y$不相关

矩，协方差矩阵

定义：

设$X$和$Y$是随机变量

---

若：

$$E(X^k),\quad k=1,2,\cdots$$
存在，称它为$X$的$k$阶原点矩，简称$k$阶矩。

---

若

$$E\{[X-E(X)]^k\},\quad k=2,3,\cdots$$
存在，则称它为$X$的$k$阶中心矩

---

若

$$E(X^kY^\ell),\quad k,\ell=1,2,\cdots$$
存在，称它为$X$和$Y$的$k+\ell$阶混合矩

---

若

$$E\{[X-E(X)]^k[Y-E(Y)]^\ell\},\quad k,\ell=1,2,\cdots$$
存在，则称它为$X$和$Y$的$k+\ell$阶混合中心矩

协方差矩阵

$2$维

二维随机变量$(X_1,X_2)$有四个二阶中心矩(假设都存在),分别记为：

c11c12c21c22=E{[X1−E(X1)]2}=E{[X1−E(X1)]}E{[X2−E(X2)]}=E{[X2−E(X2)]}E{[X1−E(X1)]}=E{[X2−E(X2)]2} c 11 = E { [ X 1 − E ( X 1 ) ] 2 } c 12 = E { [ X 1 − E ( X 1 ) ] } E { [ X 2 − E ( X 2 ) ] } c 21 = E { [ X 2 − E ( X 2 ) ] } E { [ X 1 − E ( X 1 ) ] } c 22 = E { [ X 2 − E ( X 2 ) ] 2 }

$$\begin{aligned}c_{11}&=E\{[X_1-E(X_1)]^2\}\\ c_{12}&=E\{[X_1-E(X_1)]\}E\{[X_2-E(X_2)]\}\\ c_{21}&=E\{[X_2-E(X_2)]\}E\{[X_1-E(X_1)]\}\\ c_{22}&=E\{[X_2-E(X_2)]^2\}\\ \end{aligned}$$
把它们排列成矩阵形式：
$$\begin{pmatrix}c_{11}&c_{12}\\ c_{21}&c_{22}\end{pmatrix}$$
这个矩阵称为随机变量$(X_1,X_2)$的协方差矩阵。
$n$维
设$n$维随机变量$(X_1,X_2,\cdots,X_n)$的二阶混合中心矩
$$c_{ij}=Cov(X_i,X_j)=E\{[X_i-E(X_i)]\}E\{[X_j-E(X_j)]\},i,j=1,2,\cdots,n$$ 都存在，则称矩阵
$$C=\begin{pmatrix} c_{11}&c_{12}&\cdots&c_{1n}\\ c_{21}&c_{22}&\cdots&c_{2n}\\ \vdots&\vdots&\ddots&\vdots\\ c_{n1}&c_{n2}&\cdots&c_{nn}\\\end{pmatrix}$$ 为$n$维随机变量$(X_1,X_2,\cdots,X_n)$的协方差矩阵。由于$c_{ij}=c_{ji},\quad (i\neq j;i,j=1,2,\cdots,n)$而上述矩阵是一个对称矩阵。