中心极限定理
独立同分布随机变量 X i X_i Xi,存在有限的均值 μ \mu μ和方差 σ 2 \sigma^2 σ2,则有下面定理成立:
F n ( x ) = lim n → ∞ P { ∑ i = 1 n X i − n μ n σ ≤ x } = 1 2 π ∫ − ∞ x e − t 2 2 d t F_n(x)=\lim_{n\rightarrow\infin}P\{\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt{n}\sigma}\le x\}=\frac{1}{\sqrt{2\pi}}\int_{-\infin}^{x}e^{-\frac{t^2}{2}}dt Fn(x)=n→∞limP{
nσ∑i=1nXi−nμ≤x}=2π1∫−∞xe−2t2dt
这个定理说明,将独立同分布随机变量 n n n次采样的和作为一个随机变量,关于这个随机变量的概率密度,当 n n n越大,越趋近于均值为 n μ n\mu nμ,方差为 n σ 2 n\sigma^2 nσ2的正态分布。另一种说法是,将独立同分布随机变量 n n n次采样的均值作为一个随机变量,概率密度趋近于均值为 μ \mu μ,方差为 σ 2 n \frac{\sigma^2}{n} nσ2的正态分布。这也说明, n n n越大,估算结果置信度越高。关于这个定理的证明,首先定义特征函数:
M x ( t ) = E ( e x t ) = ∫ − ∞ ∞ f ( x ) e x t d x M_{x}(t)=E(e^{xt})=\int_{-\infin}^{\infin}f(x)e^{xt}dx Mx(t)=E(ext)=∫−∞∞f(x)extdx
特征函数有几个性质:
M x ( 0 ) = ∫ − ∞ ∞ f ( x ) d x = 1 M_{x}(0)=\int_{-\infin}^{\infin}f(x)dx=1 Mx(0)=∫−∞∞f(x)dx=1
M x ′ ( 0 ) = ∫ − ∞ ∞ x f ( x ) d x = E ( x ) M_{x}^{'}(0)=\int_{-\infin}^{\infin}xf(x)dx=E(x) Mx′(0)=∫−∞∞xf(x)dx=E(x)
M x ′ ′ ( 0 ) = ∫ − ∞ ∞ x 2