概率论：中心极限定理、马尔科夫不等式、切比雪夫不等式、大数定理

一、中心极限定理

1.1 独立同分布的中心极限定理

1.1.1 定理

$设X_1,X_2,...,X_n为相互独立、服从同一分布的随机变量序列，且E(X_i)=\mu ,D(X_i)={\sigma }^2\ne 0(i=1,2,...n)，则对于任意x，有：$

${\lim }_{n\to \infty }P\left\{\begin{array}{c}\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\le x\end{array}\right\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=\Phi (x)（1.1）$

该定理通常被称为林德伯格-莱维（Lindeberg-Levy）定理。

来看下上面定理的含义：
若记：

$Y_n=\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }$

记$F_{Y_n}(x)$为$Y_n$的分布函数，则1.1式可以写成：

$li{m}_{n\to \infty }{F}_{Y_n}(x)=\Phi (x)$

这表明，当充分大时，$Y_n$近似服从正态分布$N(0,1)$，即：

$\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\backsim N(0,1)$

从而当n充分大时：

${\sum }_{i=1}^n\backsim N(n\mu ,n{\sigma }^2)（1.2）$

式1.2说明，不论$X_1,X_2,...,X_n$服从什么分布，只要满足定理的条件，当n充分大时，就可以把${\sum }_{i=1}^n{X}_i$做为正态随机变量处理，这个性质很重要。

将定理稍作变形，可以得到这个表现形式：
$\frac{\overline{X}-\mu }{\sigma \sqrt{n}}\backsim N(0,1)$
即：
$\overline{X}\backsim N(\mu ,\frac{{\sigma }^2}{n})$，其中$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$

由以上推导可知，无论$X_1,X_2,...,X_n$是服从什么分布，其算术平均值当n充分大是总是近似地服从正态分布。这一结果是数理统计中大样本理论的基础。

https://wenku.baidu.com/view/6db8601ac950ad02de80d4d8d15abe23482f0338.html?fr=search

二、马尔科夫不等式&切比雪夫不等式

切比雪夫不等式描述了这样一个事实，事件大多会集中在平均值附近。且切比雪夫不等式是马尔科夫不等式的特殊情况，因此首先看下马尔科夫不等式

2.1 马尔科夫不等式

其不等式表示如下：
$P(X\ge a)\le \frac{E(X)}{a}$，其中$X\ge 0$

2.1.1 直观感受

通过$\mu =1.3，\sigma =0.5$的正态分布来展示：

2.1.2 证明

代数证明：

马尔科夫不等式有一个条件：X是一个非负的随机变量

$E(x)={\int }_{-\infty }^{+\infty }xf(x)dx$

$\ge {\int }_t^{+\infty }xf(x)dx$

$\ge t{\int }_t^{+\infty }f(x)dx$

$=tP(x\ge t)$

将t从等式右端移到左端，得证

几何证明：
首先引入示性函数 I { A } I_{\{A\}} I{A}​的概念，示性函数只有在事件A成立时才返回1，否则为0. 我们需要使用的一个引理是，当事件是如下形式，如 A = { X > a } A=\{X>a\} A={X>a}时，示性函数的期望可以表示事件发生的概率，即 E ( I { A } ) = P ( A ) E(I_{\{A\}})=P(A) E(I{A}​)=P(A)。

引入示性函数后，我们就可以把概率我呢提转移到更直观的空间上。举例而言，我们知道，对于任意的非负x和b：
I { x ≥ b } ≤ x b I_{\{x\ge b\}}\le{x\over b} I{x≥b}​≤bx​
从几何角度来说，即$\frac{x}{b}$在第一象限永远不低于 I { x ≥ b } I_{\{x\ge b\}} I{x≥b}​，如图所示：

将自变量换为随机变量X，上述不等式同样成立，再对不等式两边
求均值，就可以得到：

$P(X\ge b)\le \frac{E(X)}{b}$

2.2 切比雪夫不等式

$设随机变量X具有数学期望E(X)=\mu ，方差D(X)={\sigma }^2，则对于任意k>0都有：$

P { ∣ X − E ( X ) ∣ ≥ k σ } ≤ 1 k 2 P\{|X-E(X)|\ge k\sigma\}\le{1\over k^2} P{∣X−E(X)∣≥kσ}≤k21​

2.2.1 直观感受

2.2.2 证明

几何证明：

同样采用示性函数来证明，对于任意的x，a和b，由示性函数可知：
I { ∣ x − a ∣ ≥ b } ≤ ( x − a ) 2 b 2 I_{\{|x-a|\ge b\}}\le{(x-a)^2\over b^2} I{∣x−a∣≥b}​≤b2(x−a)2​
其中右半部分是一个二次函数，左半部分是两端取1的示性函数，这个不等式画出来如下所示：

二次函数的值在任意点都不会低于示性函数，其中，两个坐标轴的交点（原点）实际上为$(a,0)$，而两条虚线对应的x轴的值分别为a-b和a+b。
将自变量x变为随机变量X，以上不等式依然成立，此时再对不等式两边求均值，同时设定a为随机变量X的均值$E(X)$，就可以得到切比雪夫不等式：

$P(|X-\mu |\ge b)\le \frac{Var(X)}{b^2}$

https://www.zhihu.com/question/27821324/answer/248693398

三、大数定理

3.1 随机变量序列依概率收敛

3.1.1 定义：

设 随 机 变 量 序 列 Y 1 , Y 2 , . . . , Y n , . . . ， 若 存 在 某 常 数 a ， 使 得 ∀ ε > 0 , 均 有 ： l i m n → + ∞ P { ∣ Y n − a ∣ < ε } = 1 设随机变量序列Y_1,Y_2,...,Y_n,...，若存在某常数a，使得\forall \varepsilon>0,均有：lim_{n\to+\infty}P\{|Y_n-a|<\varepsilon\}=1 设随机变量序列Y1​,Y2​,...,Yn​,...，若存在某常数a，使得∀ε>0,均有：limn→+∞​P{∣Yn​−a∣<ε}=1
则 称 随 机 变 量 序 列 { Y n } 依 概 率 收 敛 于 常 数 a ， 记 为 ： Y n → P a 则称随机变量序列\{Y_n\}依概率收敛于常数a，记为：Y_n\xrightarrow{P}a 则称随机变量序列{Yn​}依概率收敛于常数a，记为：Yn​P ​a

3.1.2 性质

$若X_n\stackrel{P}{\to }a,Y_n\stackrel{b}{\to }，且g(x,y)在(a,b)处连续，则g(X_n,Y_n)\stackrel{P}{\to }g(a,b)$

3.2 大数定理

3.2.1 定理一：切比雪夫定理的特殊情况

$设随机变量序列X_1,X_2,...,X_n,...相互独立，且具有相同的数学期望和相同的方差{\sigma }^2，作前n个随机变量的算术平均：$
$\frac{1}{n}{\sum }_{k=1}^n{X}_k=\overline{X}$
$则\forall \epsilon >0，有：$
l i m n → ∞ P { ∣ X ‾ − μ ∣ < ε } = l i m n → ∞ P { ∣ 1 n ∑ k = 1 n − μ ∣ < ε } = 1 lim_{n\to\infty}P\{|\overline{X}-\mu|<\varepsilon\}=lim_{n\to\infty}P\{|{1\over n}\sum_{k=1}^n-\mu|<\varepsilon\}=1 limn→∞​P{∣X−μ∣<ε}=limn→∞​P{∣n1​∑k=1n​−μ∣<ε}=1

证明：
由于：
$E(\overline{X})=E(\frac{1}{n}{\sum }_{k=1}^n{X}_k)=\frac{1}{n}\cdot n\mu =\mu$
$D(\overline{X})=D(\frac{1}{n}{\sum }_{k=1}^n{X}_k)=\frac{1}{n^2}{\sum }_{k=1}^{n}D(X_k)=\frac{1}{n^2}\cdot n{\sigma }^2=\frac{{\sigma }^2}{n}$
由切比雪夫不等式得：
P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } ≥ 1 − σ 2 / n ε 2    ⟹    l i m n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } = 1 P\{|{1\over n}\sum_{k=1}^nX_k-\mu|<\varepsilon\}\ge1-{\sigma^2/n\over\varepsilon^2}\implies lim_{n\to\infty}P\{|{1\over n}\sum_{k=1}^nX_k-\mu|<\varepsilon\}=1 P{∣n1​∑k=1n​Xk​−μ∣<ε}≥1−ε2σ2/n​⟹limn→∞​P{∣n1​∑k=1n​Xk​−μ∣<ε}=1

3.2.2 定理二：伯努利大数定理

$设事件A在每次试验中发生的概率为p，记n_A为n次独立重复试验中A发生的次数，则\forall \epsilon >0，有：$
l i m n → + ∞ P { ∣ n A n − P ∣ < ε } = 1 lim_{n\to+\infty}P\{|{n_A\over n}-P|<\varepsilon\}=1 limn→+∞​P{∣nnA​​−P∣<ε}=1

证明：
$\because n_A\backsim B(n,p),E(\frac{n_A}{n})=\frac{1}{n}\cdot np=p,D(\frac{n_A}{n})=\frac{1}{n^2}D(n_A)=\frac{1}{n^2}\cdot npq=\frac{pq}{n}$
利用切比雪夫不等式可得：
∀ ε > 0 ， 有 P { ∣ n A n − p ∣ < ε } ≥ 1 − p q n ε 2 \forall\varepsilon>0，有P\{|{n_A\over n}-p|<\varepsilon\}\ge1-{pq\over n\varepsilon^2} ∀ε>0，有P{∣nnA​​−p∣<ε}≥1−nε2pq​
即得：
l i m n → + ∞ P { ∣ n A n − p ∣ < ε } = 1 lim_{n\to+\infty}P\{|{n_A\over n}-p|<\varepsilon\}=1 limn→+∞​P{∣nnA​​−p∣<ε}=1

https://wenku.baidu.com/view/2b88b411cc7931b765ce15f4.html?sxts=1591850252432