统计知识基础（二）点估计、区间估计、大数定律及中心极限定理

点估计

点估计指直接以样本统计量代替总体参数的一种统计量估计方法，例如：用样本均值估计未知的总体均值。举一个通俗点的例子就是：
 假设老师想要知道整个年级的学生平均身高，但由于整个年级人数太多，想要每个人都测量的话，太浪费时间。于是老师对每个班随机抽取几个人，组成一组样本，再测量这些人的平均身高，用这一组样本的平均身高估计全年级的身高。
 但是点估计有一个非常明显的缺点：就是无法给出估计值接近总体参数程度的信息。

• 虽然在重复抽样条件下，点估计的均值可望等于总体真值，但由于样本是随机的，抽出一个具体的样本得到的估计值很可能不同于总体真值。
• 一个点估计量的可靠性是由它的抽样标准误差来衡量的，这表明一个具体的点估计值无法给出估计的可靠性的度量。
  就比如上述的例子，尽管老师是对每个班随机抽样的，但是如果连续几个班都是抽到身高比较高的学生，这样样本均值就会偏高。尽管说这只是概率问题，但仍然存在这种可能性，这样的抽样偏差，并不是错误，而是一种必然。

区间估计

• 区间估计在点估计的基础上，给出总体参数估计的一个区间范围，该区间由样本统计量加减估计误差而得到。
• 根据样本统计量的抽样分布能够对样本统计量与总体参数的接近程度给出一个概率度量
  例如，某个班的语文平均成绩在70-80之间，置信水平是95%
  
  $\mu$是总体均值估计量，$\bar{X}$是样本均值。

置信水平是指总体参数值落在样本统计值某一区内的概率，表示为$(1-\alpha )\%$，$\alpha$是总体参数未在区间内的比例。比如常用的置信水平有$99\%$，$95\%$，$90\%$，与之对应的$\alpha$为0.01, 0.05, 0.1。$\alpha$也称为显著性水平。

置信区间是分别以统计量的置信上限和置信下限为上下界构成的区间。

为了便于理解，可以通过练习一道例题加深理解。
 从一批产品中随机抽取100个产品进行质量检验,检验结果有72个合格,试在95%的把握程度之下对该批产品的合格率进行区间估计。
 解：假设该产品质量服从正态分布。
 则$n=100,p=\frac{72}{100}100\%=72\%$, $1-\alpha =95\%$，$\alpha =0.05$, $Z_{\frac{\alpha }{2}}=1.96$
则在95%置信水平下的及格率置信区间为
$$\left[p-Z_{\frac{\alpha }{2}}{\left(\frac{p(1-p)}{n}\right)}^{\frac{1}{2}},p+Z_{\frac{\alpha }{2}}{\left(\frac{p(1-p)}{n}\right)}^{\frac{1}{2}}\right]$$
经计算，得$[0.72-0.088,0.72+0.088]$
即在95%置信水平下的及格率置信区间为$[0.632,0.808]$

大数定律

大数定律讲的是如果统计数据足够大，那么事物出现的频率就能无限接近它的期望值。

切比雪夫大数定律

$X_1$，$X_2$，$X_3$，$\cdots$，$X_n$，$\cdots$为相互独立的随机变量。存在期望和方差$E(X_i)$，$D(X_i)$，且$D(X_i)\le c$，$c$为常数。
若存在任意小的正数$\epsilon$，则
lim ⁡ n → ∞ P { ∣ 1 n ∑ i = 1 n X i − 1 n ∑ i = 1 n E ( X i ) ∣ &lt; ε } = 1 \lim\limits_{n\to\infty}P\{|\frac{1}{n}\sum\limits_{i=1}^nX_i-\frac{1}{n}\sum\limits_{i=1}^nE(X_i)|&lt;\varepsilon\}=1 n→∞lim​P{∣n1​i=1∑n​Xi​−n1​i=1∑n​E(Xi​)∣<ε}=1
该公式应用于抽样调查时，可得出这样的结论：随着样本容量n的增加，样本平均数将接近于总体平均数

伯努利大数定律

设${\mu }_n$是n次独立试验中事件A发生的次数，且事件A在每次试验中发生的概率为$p$，$0<P(A)<1$。
伯努利大数定律讲的是：当n足够大时，事件A出现的频率将几乎接近于其发生的概率，即频率的稳定性。
对于任意小的正整数$\epsilon$，则有
$$\underset{n\to \infty }{\lim }P\left(\mid \frac{{\mu }_n}{n}-p\mid <\epsilon \right)=1$$
伯努利大数定律的常用之处是：在抽样调查中，用样本成数去估计总体成数。

辛钦大数定律

$X_1$，$X_2$，$X_3$，$\cdots$，$X_n$，$\cdots$为相互独立且同分布的随机变量序列，且存在期望$E(X_i)$。
若存在任意小的正数$\epsilon$，则有
$$\underset{n\to \infty }{\lim }P\left(|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu |<\epsilon \right)=1$$
大数定律有若干个表现形式，上述是概率论中常用到的三个定律。

中心极限定理

中心极限定理总的就阐述了一个规律：若样本的数据量足够大，样本均值是近似符合正态分布的。
但中心极限定理也分几个表现形式，以下是常见的四种中心极限定理

1.辛钦中心极限定理

当$X_1$，$X_2$，$X_3$，$\cdots$，$X_n$为独立同分布的随机变量，有限的数学期望$c$（$c$为常数）和方差${\alpha }^2$即$Var(X_i)={\alpha }^2<\infty$，随机变量的$\bar{X}=\frac{\sum X_i}{n}$，当$n\to \infty$时，$\bar{X}\to N\left(c,\frac{{\alpha }^2}{n}\right)$

在抽样调查中，如果抽样总体的数学期望$c$和方差σ2是有限的，无论总体服从什么分布，从中抽取容量为n的样本时，只要n足够大，其样本平均数的分布就趋于数学期望为a，方差为σ2 / n的正态分布。

2.德莫佛——拉普拉斯中心极限定理

棣莫弗-拉普拉斯中心极限定理是关于二项分布渐近趋于正态分布的极限定理，也称二项分布的中心极限定理。
假设${\upsilon }_n$是$n$次伯努利试验中事件A发生的次数，事件A在每次试验中发生的概率为$p$，即$P(A)=p$，$0<p<1$。

• 则对任意有限区间$[a,b]$，当$a\le \frac{k-np}{\sqrt{np(1-p)}}\le b$以及$n\to \infty$时，有
  P { υ n = k } 1 n p ( 1 − p ) × 1 2 π e − 1 2 x k 2 → 1 \frac{P\{\upsilon_n=k\}}{\frac{1}{np(1-p)}\times\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}x_k^2}} \to 1 np(1−p)1​×2π ​1​e−21​xk2​P{υn​=k}​→1
  这就是局部极限定理，其中，$x_k=\frac{k-np}{np(1-p)}$
• 当$n\to \infty$时，有
  P { a ≤ υ n − n p n p ( 1 − p ) ≤ b } → ⎰ b a 1 2 π e − 1 2 x 2 d x P\{a\le\frac{\upsilon_n-np}{\sqrt{np(1-p)}}\le b\} \to \lmoustache^a_b\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}x^2}dx P{a≤np(1−p) ​υn​−np​≤b}→⎰ba​2π ​1​e−21​x2dx
  此称为积分极限定理
  因为${\upsilon }_n$是$n$此伯努利试验事件A发生的次数，又根据积分极限定理，可知$\frac{{\upsilon }_n-np}{\sqrt{np(1-p)}}$近似服从标准正态分布，即${\upsilon }_n$近似服从正态分布$N\left(np,np(1-p)\right)$

3.李亚普洛夫中心极限定理

李亚普洛夫中心极限定理说的是：如果一个量是由大量相互独立的随机因素影响所造成的，而每一个别因素在总影响中所起的作用不很大，则这个量服从或近似服从正态分布。
数学表达形式如下：
$X_1$，$X_2$，$X_3$，$\cdots$，$X_n$，$\cdots$为独立的随机变量序列，它们具有有限的数学期望和方差，$E(X_i)={\mu }_i$，$D(X_i)={\delta }_i^2$,$(i=1,2,3,\cdots )$
若存在$\delta >0$时，则
$$\underset{n\to \infty }{\lim }P\left(\frac{\sum _{i=1}^n{X}_i-\sum _{i=1}^n{\mu }_i}{\sqrt{\sum _{i=1}^n{\delta }_i^2}}\le x\right)=\frac{1}{\sqrt{2\pi }}{⎰}_{-\infty }^x{e}^{-\frac{t^2}{2}}dt=\Phi (x)$$
当随机变量之和$\sum _{i=1}^n{X}_i$及其标准化变量$Y_n$在$n\to \infty$时，分别近似服从一下分布：

• $\sum _{i=1}^n{X}_i\sim N\left(\sum _{i=1}^n{\mu }_i,\sum _{i=1}^n{\delta }_i^2\right)$
• $\frac{\sum _{i=1}^n{X}_i-\sum _{i=1}^n{\mu }_i}{\sqrt{\sum _{i=1}^n{\delta }_i^2}}\sim N(0,1)$
  随机变量$X_i$无论服从什么分布，只要满足条件，随机变量之和$\sum _{i=1}^n{X}_i$，当$n\to \infty$时，就近似服从正态分布。

4.林德贝尔格—勒维中心极限定理

$X_1$，$X_2$，$X_3$，$\cdots$，$X_n$，$\cdots$为独立同分布的随机变量序列。即$E(X_i)=\mu$，$D(X_i)={\delta }^2$,$(i=1,2,3,\cdots )$
则
$$\begin{gathered} \underset{n\to \infty }{\lim }P\left(\frac{\sum _{i=1}^n{X}_i-E\left(\sum _{i=1}^n{X}_i\right)}{\sqrt{D\left(\sum _{i=1}^n{X}_i\right)}}\le x\right) \\ =\underset{n\to \infty }{\lim }P\left(\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n{\delta }^2}}\le x\right) \\ =\frac{1}{\sqrt{2\pi }}{⎰}_{-\infty }^x{e}^{-\frac{t^2}{2}}dt \\ =\Phi (x) \end{gathered}$$
当独立同分布随机变量之和$\sum _{i=1}^n{X}_i$及其标准化变量$Y_n$在$n\to \infty$时，分别近似服从一下分布：

• $\sum _{i=1}^n{X}_i\sim N\left(n\mu ,n{\delta }^2\right)$

• $\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n{\delta }^2}}\sim N(0,1)$

只要满足条件，随机变量之和$\sum _{i=1}^n{X}_i$，当$n\to \infty$时，就近似服从正态分布。

以上就是常见/常用的四个中心极限定理。