《数理统计学简史》读书笔记2——二项分布以及其在大数定律上的证明

一.狄莫弗二项分布的研究

1721年，亚历山大.咯明向狄莫弗提出了一个计算赌博期望的问题，期望为：
$D_N=E(|X-Np|)={\sum }_{i=1}^N||i-Np|b(N,p,i)$
狄莫弗在N为整数时得出：
$D_N=2Npqb(N,p,Np)$
狄莫弗对上述公式进行了一些讨论，记
$K_N=E(|\frac{X}{N}-p|)=\frac{D_N}{N}=2pqb(N,p,Np)$
容易证明：
$\underset{n\to \infty }{\lim }b(N,p,Np)=0$
后来狄莫弗证明了当$N\to \infty$时，$b(N,p,Np)$以 $\frac{1}{\sqrt{N}}$趋于0。

狄莫弗深入研究二项式的计算，记$b(i)=b(2m,\frac{1}{2},i)$,有：
$b(m)\sim 2.618\frac{(1-\frac{1}{N}{)}^N}{\sqrt{N-1}}$
注意这里的$\sim$表示趋近，$N\to \infty$时比为1的意思。这是一个重要的工具，在二项式的研究和正态分布的研究过程中。
同时还研究了$N\to \infty$时 $\frac{b(m)}{b(m+d)}$的关系，这样便可求出$b(m+d)$的趋近形式。

斯特林得知狄莫弗的结果后作出了2个关于b(m)级数的表示，首次将$\pi$引入到这类公式。同时当$m=\frac{m}{2},N\to \infty$,得出：
$b(m)\sim \sqrt{\frac{2}{\pi N}}(1)$
其实利用瓦里斯无穷乘积结果和b(m)的乘积形式便可得出。
（附上注明的斯特林公式简洁形式：$m!\sim \sqrt{2\pi }{m}^{m+\frac{1}{2}}{e}^{-m}$）。

又过去了几年，狄莫弗放弃了精确的要求，得出：
$\frac{b(m+d)}{b(m)}\sim exp(-\frac{2d^2}{N}).$

注意d可以随着N变换但$\frac{d}{\sqrt{N}}$保持有界。
结合（1）式，便得出
$b(m+d)\sim \frac{2}{\sqrt{2\pi N}}{e}^{-\frac{2d^2}{N}}$。

狄莫弗工作的一个重要意义：
观察值的算术平均的精度，与观察次数N的平方跟成正比。

二.对大数定律问题的作用：

原问题：
$|\frac{x}{N}-p|\le \epsilon$的概率不小于$\frac{c}{(c+1)}$,$N$最少为多少？
将问题作个转换：$P_d=P(|X-Np|)\le d)$,固定$N$，去计算$P_d$。

对此狄莫弗提出了中心极限定理 （里程碑）：
$P_d={\sum }_{i:|m-i|\le d}b(i)\sim \frac{2}{\sqrt{2\pi N}}{\sum }_{i:|m-i|\le d}{e}^{-2(\frac{d}{\sqrt{N}}{)}^2}\sim \frac{2}{\sqrt{2\pi }}{\int }_{-\frac{d}{\sqrt{N}}}^{\frac{d}{\sqrt{N}}}{e}^{-2x^2}dx\sim \frac{1}{\sqrt{2\pi }}{\int }_{-\frac{2d}{\sqrt{N}}}^{\frac{2d}{\sqrt{N}}}{e}^{-\frac{x^2}{2}}dx$

令$d=c\sqrt{N}$,取C充分大，对于足够大的$N$,事件$|\frac{X}{N}-\frac{1}{2}|\le \frac{C}{\sqrt{N}}$的概率可任意趋近于1。由于${\lim }_{N\to \infty }\frac{C}{\sqrt{N}}=0$,所以对于任意
$\epsilon >0$,有${\lim }_{N\to \infty }|\frac{X}{N}-\frac{1}{2}|\le \epsilon =1$，即伯努利大数定率。

三.其他关于二项分布的工作：

（1）$p$不为$1/2$的情况。
（2）波哇松公式：
${\lim }_{N\to \infty }b(N,p,k)=e^{-\lambda }\frac{{\lambda }^k}{k!},\lambda ={\lim }_{N\to \infty }Np$
…