《随机变量的数字特征》（至马尔可夫大数定律）_2021秋季《概率论与数理统计》复习笔记2.0_基于浙大第五版和华东师大版

数学期望

试验次数很大时，随机变量$X$​的观察值的算术平均。

以下各极限情况均要求绝对收敛。

性质

1. 线性
2. 独立性，$E(XY)=E(X)E(Y)$

特殊的数学期望

泊松分布

$$E(X)=\sum _{k=0}^{+\infty }k\frac{{\lambda }^k{e}^{-\lambda }}{k!}=\lambda e^{-\lambda }\sum _{k=1}^{+\infty }\frac{{\lambda }^{k-1}}{(k-1)!}=\lambda e^{-\lambda }\cdot e^{\lambda }=\lambda$$

最后一个等号运用了泰特展开。

均匀分布

$$E(X)={\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}x={\int }_a^{b}x\frac{1}{b-a}\mathrm{d}x=\frac{a+b}{2}$$

随机变量的函数的数学期望

正态分布

$X\sim N(0,1)$

奇函数
$$E(Y)={\int }_{-\infty }^{+\infty }\frac{y}{\sqrt{2\pi }}{e}^{-\frac{y^2}{2}}\mathrm{d}y=0$$
偶函数
$$\begin{array}{rl}E(|Y|)& ={\int }_{-\infty }^{+\infty }\frac{|y|}{\sqrt{2\pi }}{e}^{-\frac{y^2}{2}}\mathrm{d}y\\ & =\frac{2}{\sqrt{2\pi }}{\int }_0^{+\infty }y{e}^{-\frac{y^2}{2}}\mathrm{d}y\\ & =\frac{2}{\sqrt{2\pi }}{\int }_0^{+\infty }{e}^{-\frac{y^2}{2}}\mathrm{d}(\frac{y^2}{2})\\ & =\sqrt{\frac{2}{\pi }}\end{array}$$

$X\sim (0,{\sigma }^2)$

已知标准正态分布的绝对值的数学期望$E(|Y|)$，由数学期望的线性性质，
$$E(|X|)=E(\sigma \cdot |\frac{X}{\sigma }|)=\sigma \sqrt{\frac{2}{\pi }}$$

$X\sim N(\mu ,{\sigma }^2)$​

已知标准正态分布的数学期望$E(Y)$为$0$，由数学期望的线性性质，
$$E(X)=E(\sigma \cdot \frac{X-\mu }{\sigma }+\mu )=\sigma \cdot 0+\mu =\mu$$

方差

描述偏离程度。
E [ ∣ X − E ( X ) ∣ ] → E { [ X − E ( X ) ] 2 } E[|X-E(X)|]\rightarrow E\{[X-E(X)]^2\} E[∣X−E(X)∣]→E{[X−E(X)]2}

与期望

$$D(X)=E(X^2)-[E(X){]}^2$$

证明

D ( X ) = E { [ X − E ( X ) ] 2 } = E { X 2 − 2 X E ( X ) + [ E ( X ) ] 2 } = E ( X 2 ) − 2 E ( X ) E ( X ) + [ E ( X ) ] 2 = E ( X 2 ) − [ E ( X ) ] 2 \begin{aligned} D(X) &= E\{[X-E(X)]^2\} \\ &= E\{X^2-2XE(X)+[E(X)]^2\} \\ &= E(X^2)-2E(X)E(X)+[E(X)]^2 \\ &= E(X^2)-[E(X)]^2 \end{aligned} D(X)​=E{[X−E(X)]2}=E{X2−2XE(X)+[E(X)]2}=E(X2)−2E(X)E(X)+[E(X)]2=E(X2)−[E(X)]2​

性质

1. $D(CX)=C^{2}D(X),D(X+C)=D(X)$

2. D ( X + Y ) = D ( X ) + D ( Y ) + 2 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } D(X+Y)=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)]\} D(X+Y)=D(X)+D(Y)+2E{[X−E(X)][Y−E(Y)]}

   $X,Y$​独立时，$D(X+Y)=D(X)+D(Y)$

3. D ( X ) = 0 ⇔ P { X = E ( X ) } = 1 D(X)=0\Leftrightarrow P\{X=E(X)\}=1 D(X)=0⇔P{X=E(X)}=1

证明

3. • 左向
     P { X = E ( X ) } = 1 ⇒ P { X 2 = E 2 ( X ) } = 1 , D ( X ) = E ( X 2 ) − E 2 ( X ) = 1 − 1 = 0 P\{X=E(X)\}=1\Rightarrow P\{X^2=E^2(X)\}=1,D(X)=E(X^2)-E^2(X)=1-1=0 P{X=E(X)}=1⇒P{X2=E2(X)}=1,D(X)=E(X2)−E2(X)=1−1=0

   • 右向

     反证法，假设 P { X = E ( X ) } < 1 P\{X=E(X)\}<1 P{X=E(X)}<1，则$\exists \epsilon$，使得 P { ∣ X − E ( X ) ∣ ≥ ε } > 0 P\{|X-E(X)|\geq\varepsilon\}>0 P{∣X−E(X)∣≥ε}>0.但根据[切比雪夫不等式](# 切比雪夫不等式)， ∀ ε , P { ∣ X − E ( X ) ∣ ≥ ε } ≤ 0 ε = 0 \forall \varepsilon,P\{|X-E(X)|\geq\varepsilon\}\leq\frac{0}{\varepsilon}=0 ∀ε,P{∣X−E(X)∣≥ε}≤ε0​=0，与假设矛盾。

标准化变量

特殊的方差

二项分布

$0-1$分布

$$E(X)=0\times (1-p)+1\times p=p,D(X)=p(1-p)$$

一般

$$X=\{\begin{array}{ll}1,& A在第k次试验中发生\\ 0,& A在第k次试验中不发生\end{array}$$

$$X=X_1+X_2+\cdots +X_n$$

相当于$n$各相互独立且服从以$p$为参数的$0-1$分布的随机变量之和，于是
$$E(X)=E(\sum X_i)=\sum (E(X_i))=np,D(X)=D(\sum X_i)=\sum (D(X_i))=np(1-p)$$

泊松分布

第一个等号为了凑阶乘
$$\begin{array}{rl}E(X^2)& =E(X(X-1)+X)=E(X(X-1))+E(X)\\ & =\sum _{k=0}^{+\infty }k(k-1)\frac{{\lambda }^k}{k!}{e}^{-\lambda }+\lambda \\ & ={\lambda }^2{e}^{-\lambda }\sum _{k=2}^{+\infty }\frac{{\lambda }^{k-2}}{(k-2)!}+\lambda \\ & ={\lambda }^2{e}^{-\lambda }\cdot e^{\lambda }+\lambda \\ & ={\lambda }^2+\lambda \end{array}$$

$$D(X)=E(X^2)-[E(X){]}^2={\lambda }^2+\lambda -{\lambda }^2=\lambda$$

正态分布

$X\sim N(0,1)$

$$\begin{array}{rl}E(Z)& =\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }t{e}^{-t^2/2}\mathrm{d}t=0\\ D(Z)& =E(Z^2)\\ & =\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }{t}^2{e}^{-t^2/2}\mathrm{d}t\\ & =\frac{-1}{\sqrt{2\pi }}t{e}^{-t^2/2}{|}_{-\infty }^{+\infty }+\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }{e}^{-t^2/2}\mathrm{d}t\\ & =1+0=1\end{array}$$

$X\sim N(\mu ,{\sigma }^2)$

由于$X=\mu +\sigma Z$，
$$\begin{array}{rl}E(X)& =E(\mu +\sigma Z)=\mu \\ D(x)& =D(\mu +\sigma Z)=D(\sigma Z)={\sigma }^{2}D(Z)={\sigma }^2\end{array}$$
由此可证正态分布的线性不变性。

切比雪夫不等式

P { ∣ X − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\{|X-\mu|\geq\varepsilon\}\leq \frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≥ε}≤ε2σ2​

证明

P { ∣ X − μ ∣ ≥ ε } = ∫ ∣ x − μ ∣ ≥ ε f ( x ) d x ≤ ∫ ∣ x − μ ∣ ≥ ε ∣ x − μ ∣ 2 ε 2 f ( x ) d x ≤ 1 ε 2 ∫ − ∞ + ∞ ∣ x − μ ∣ 2 f ( x ) d x = σ 2 ε 2 \begin{aligned} P\{|X-\mu|\geq \varepsilon\} &= \int_{|x-\mu|\geq \varepsilon} f(x){\rm d}x \\ &\leq \int_{|x-\mu|\geq \varepsilon} \frac{|x-\mu|^2}{\varepsilon^2}f(x){\rm d}x \\ &\leq \frac{1}{\varepsilon^2}\int_{-\infin}^{+\infin}|x-\mu|^2 f(x){\rm d}x = \frac{\sigma^2}{\varepsilon^2} \end{aligned} P{∣X−μ∣≥ε}​=∫∣x−μ∣≥ε​f(x)dx≤∫∣x−μ∣≥ε​ε2∣x−μ∣2​f(x)dx≤ε21​∫−∞+∞​∣x−μ∣2f(x)dx=ε2σ2​​

变式

P { ∣ X − μ ∣ ≤ ε } ≥ 1 − σ 2 ε 2 P\{|X-\mu|\leq\varepsilon\}\geq 1-\frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≤ε}≥1−ε2σ2​

协方差与相关系数

刻画不独立的随机变量之间的关系：$Y$如何随$X$的变化而变化。

以$X=EX,Y=EY$分割的四个“象限”中，一三象限意味着$(X-EX)(Y-EY)>0$，二四象限意味着$(X-EX)(Y-EY)<0$，$X,Y$图像落在各个象限中的面积的“权重”可以用$E(X-EX)(Y-EY)$衡量。

协方差

$$\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=E[(X-EX)(Y-EY)]$$

性质

1. 若$X,Y$相互独立，则$\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=0$

   逆命题不成立：独立是比相关更强的条件

2. $\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=\mathrm{C}\mathrm{o}\mathrm{v}(Y,X)$

3. $\mathrm{D}(X)=\mathrm{C}\mathrm{o}\mathrm{v}(X,X)$

4. • $\mathrm{C}\mathrm{o}\mathrm{v}(X,a)=0$

     任意随机变量不随一个常数的变化而变化

   • $\mathrm{C}\mathrm{o}\mathrm{v}(aX+b,cY+d)=ac\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)$

     左右平移不影响方差和协方差，只影响期望（因为要中心化）

5. 协方差的常用计算方法
   $$\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=E(XY)-EXEY$$

   但正态分布用定义计算更方便，因为本就要去中心化

6. $\mathrm{C}\mathrm{o}\mathrm{v}(X+Y,Z)=\mathrm{C}\mathrm{o}\mathrm{v}(X,Z)+\mathrm{C}\mathrm{o}\mathrm{v}(Y,Z)$

   $\mathrm{C}\mathrm{o}\mathrm{v}(a{X}_1+b{X}_2,c{Y}_1+d{Y}_2)=ac\mathrm{C}\mathrm{o}\mathrm{v}(X_1,Y_1)+ad\mathrm{C}\mathrm{o}\mathrm{v}(X_1,Y_2)+bc\mathrm{C}\mathrm{o}\mathrm{v}(X_2,Y_1)+bd\mathrm{C}\mathrm{o}\mathrm{v}(X_2,Y_2)$

7. $\mathrm{D}(X\pm Y)=\mathrm{D}(X)+\mathrm{D}(Y)+2\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)$

相关系数

为了消除量纲，对随机变量进行标准化，使之称为均值为0、方差为1的标准化随机变量。
$${\rho }_{XY}=\mathrm{C}\mathrm{o}\mathrm{r}\mathrm{r}(X,Y)=\mathrm{C}\mathrm{o}\mathrm{v}(X^{\ast },Y^{\ast })=\frac{\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)}{\sqrt{DX}\sqrt{DY}}$$
其中，
$$X^{\ast }=\frac{X-EX}{\sqrt{DX}},Y^{\ast }=\frac{Y-EY}{\sqrt{DY}}$$

定理

相关系数是衡量两个随机变量之间的线性关系的重要指标。

1. $|{\rho }_{XY}|\le 1$

2. $|{\rho }_{XY}=1|$的充要条件是，存在常数$a,b$，使得
   P { Y = a X + b } = 1 P\{Y=aX+b\}=1 P{Y=aX+b}=1

概括起来，

其中的不相关仅指不线性相关。

对于二维正态随机变量$(X,Y)$而言，$X,Y$不相关和相互独立等价（$\rho ={\rho }_{XY}$）。

$X,Y$各自服从正态分布，事实上推不出$(X,Y)$满足联合正态，所以不能推出不相关等价于独立。

$\mathrm{C}\mathrm{a}\mathrm{u}\mathrm{c}\mathrm{h}\mathrm{y}-\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{w}\mathrm{a}\mathrm{r}\mathrm{z}$不等式

$$|E(X-EX)(Y-EY){|}^2\le DX\cdot DY$$

一般地，设下面涉及的数学期望都存在，则
$$|E(XY{)}^2|\le E(X^2)E(Y^2)$$

证明

$$\begin{gathered} {\rho }_{XY}=\frac{\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)}{\sqrt{DX}\sqrt{DY}}\le 1 \\ \Rightarrow \mathrm{C}\mathrm{o}\mathrm{v}(X,Y{)}^2\le D{X}^{\cdot }DY \end{gathered}$$

矩和其他数字特征

矩

概念

原点矩${\mu }_k$

$$E(X^k),k=1,2,\cdots$$

$X$的$k$阶原点矩，简称$k$阶矩。

混合矩

$$E(X^k{Y}^l),k,l=1,2,\cdots$$

$X$和$Y$的$k+l$阶混合矩。

中心矩$v_k$

E { [ X − E ( X ) ] k } , k = 1 , 2 , ⋯ E\{[X-E(X)]^k\},\quad k=1,2,\cdots E{[X−E(X)]k},k=1,2,⋯

$X$的$k$阶中心矩。

混合中心矩

E { [ X − E ( X ) ] k [ Y − E ( Y ) ] l } , k , l = 1 , 2 , ⋯ E\{[X-E(X)]^k[Y-E(Y)]^l\},\quad k,l=1,2,\cdots E{[X−E(X)]k[Y−E(Y)]l},k,l=1,2,⋯

$X$和$Y$的$k+l$阶混合中心矩。

性质

1. ${\mu }_1=EX,v_1=0,v_2=DX$

2. 直接展开，
   $$v_k=\sum _{i=0}^k{C}_k^i{\mu }_i(-1{)}^{k-i}{\mu }_1^{k-i}$$

3. 通常用$v_3$度量随机变量的对称程度（$v_3$越小越对称）

其他数字特征

系数

偏度系数

skewness
$${\beta }_s=\frac{v_3}{{\sigma }^3},\sigma =\sqrt{v_2}$$
在$v_3$的基础上进行标准化，同样衡量随机变量的对称性。

峰度系数

kurtosis
$${\beta }_k=\frac{v_4}{v_2^2}-3$$
若设$X^{\ast }=\frac{X-EX}{\sqrt{DX}}$，则${\beta }_k=E[(X^{\ast }{)}^4]-3$.

变异系数

$$C_v=\frac{\sqrt{v_2}}{{\mu }_1}$$

内部

分位数

中位数

极限定理

中心极限定理

客观背景

在客观实际中有许多随机变量，它们是由大量的相互独立的随机因素的综合影响所形成的。而其中每一个别因素在总的影响中所起的作用都是微小的。这种随机变量往往近似地服从正态分布。

例如二项分布、泊松分布、卡方分布等。

内容

称随机变量序列 { X n , n ≥ 1 } \{X_n,n\geq 1\} {Xn​,n≥1}服从中心极限定理，若当$n\to +\infty$时，随机变量之和$S_n={\sum }_{i=1}^n{X}_i$渐进服从正态分布。

即$\frac{S-E{S}_n}{\sqrt{D{S}_n}}$的分布函数$F_n(x)$收敛于$\Phi (x)$。

借用知乎老哥理解，

林德贝格-勒维中心极限定理

若随机变量序列独立同分布，数学期望为$\mu$，方差为${\sigma }^2$，则对任意实数$y$，
lim ⁡ n → ∞ P { ∑ k = 1 n X k − n μ σ n ≤ y } = Φ ( y ) \lim_{n\rightarrow \infin}P\{\frac{\sum_{k=1}^n X_k-n\mu}{\sigma\sqrt{n}}\leq y\}=\Phi(y) n→∞lim​P{σn ​∑k=1n​Xk​−nμ​≤y}=Φ(y)

近似计算

P { a ≤ S n ≤ b } ≈ Φ ( b − n μ σ n ) − Φ ( a − n μ σ n ) P\{a\leq S_n\leq b\}\approx \Phi(\frac{b-n\mu}{\sigma\sqrt{n}})-\Phi(\frac{a-n\mu}{\sigma\sqrt{n}}) P{a≤Sn​≤b}≈Φ(σn ​b−nμ​)−Φ(σn ​a−nμ​)

德莫夫-拉普拉斯中心极限定理

对于二项分布，设$Y_n\sim b(n,p)$，则
lim ⁡ n → ∞ P { Y n − n p n p ( 1 − p ) } ≈ Φ ( y ) \lim_{n\rightarrow \infin}P\{\frac{Y_n-np}{\sqrt{np(1-p)}}\}\approx \Phi(y) n→∞lim​P{np(1−p) ​Yn​−np​}≈Φ(y)

近似计算

修正

由于二项分布是离散分布，正态分布是连续分布，
P { k 1 ≤ Y n ≤ k 2 } = P { k 1 − 0.5 < Y n < k 2 + 0.5 } ≈ Φ ( k 2 + 0.5 − n p n p ( 1 − p ) ) − Φ ( k 1 − 0.5 − n p n p ( 1 − p ) ) P\{k_1\leq Y_n\leq k_2\}=P\{k_1-0.5<Y_n<k_2+0.5\} \approx \Phi(\frac{k_2+0.5-np}{\sqrt{np(1-p)}})-\Phi(\frac{k_1-0.5-np}{\sqrt{np(1-p)}}) P{k1​≤Yn​≤k2​}=P{k1​−0.5<Yn​<k2​+0.5}≈Φ(np(1−p) ​k2​+0.5−np​)−Φ(np(1−p) ​k1​−0.5−np​)

大数定律

客观背景

随着试验次数的增加，事件发生的频率逐渐稳定于某个常数。类似地，大量测量值的算术平均值也具有上述稳定性。

概率收敛

设随机变量$X,X_1,X_2,\cdots$都定义在同一个概率空间中，如果$\forall ϵ>0$，都有${\lim }_{n\to \infty }P(|X_n-X|\ge ϵ)=0$成立，则称随机变量序列$X_1,X_2,\cdots$依概率收敛到$X$。通常记为$X_n\stackrel{P}{⟶}X$.

$X_n\stackrel{P}{⟶}X$当且仅当$X_n-X\stackrel{P}{⟶}0$.

内容

称随机变量序列$X_1,X_2,\cdots$服从大数定律，若
$$\frac{S_n-E{S}_n}{n}\stackrel{P}{⟶}0$$

马尔可夫大数定律

Markov

若方差$D(X_i)$存在，且$\mathrm{M}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{o}\mathrm{v}$条件
$$\underset{n\to \infty }{\lim }\frac{1}{n^2}D(\sum _{k=1}^n{X}_k)=0$$
成立，则该随机变量序列服从大数定律。