一、大数定理
在概率论中,大数定理是由概率的统计定义“频率收敛于概率”引申而来的。
【定理1】
设
X
1
,
X
2
,
X
3
,
⋯
 
,
X
n
,
⋯
X_1, X_2, X_3, \cdots, X_n, \cdots
X1,X2,X3,⋯,Xn,⋯ 是独立同分布的随机变量,记它们的公共均值为
a
a
a,又设它们的方差存在并记为
σ
2
\sigma^2
σ2,则对任意给定的
ε
>
0
\varepsilon > 0
ε>0,有
lim
n
→
∞
P
(
∣
X
n
ˉ
−
a
∣
≥
ε
)
=
0
\lim_{n\rightarrow \infty}P(|\bar{X_n} - a| \geq \varepsilon) = 0
n→∞limP(∣Xnˉ−a∣≥ε)=0
其中,频率 X n ˉ = ( X 1 + ⋯ + X n ) / n \bar{X_n} = (X_1 + \cdots + X_n) / n Xnˉ=(X1+⋯+Xn)/n.
这个式子指出:当 n n n 很大时, X n ˉ \bar{X_n} Xnˉ 接近 a a a。
二、中心极限定理
在很一般的情况下,和的极限分布就是正态分布。在概率论上,习惯于把和的分布收敛于正态分布的那一类定理都叫做“中心极限定理”。
【定理2】
设
X
1
,
X
2
,
X
3
,
⋯
 
,
X
n
,
⋯
X_1, X_2, X_3, \cdots, X_n, \cdots
X1,X2,X3,⋯,Xn,⋯ 为独立同分布的随机变量,
E
(
X
i
)
=
a
,
Var
(
X
i
)
=
σ
2
(
0
<
σ
2
<
∞
)
E(X_i)=a, \text{Var}(X_i)=\sigma^2 (0 < \sigma^2 < \infty)
E(Xi)=a,Var(Xi)=σ2(0<σ2<∞)。则对任何实数
x
x
x,有
lim
n
→
∞
P
(
1
n
σ
(
X
1
+
⋯
+
X
n
−
n
a
)
≤
x
)
=
Φ
(
x
)
\lim_{n \rightarrow \infty}P(\frac{1}{\sqrt{n}\sigma}(X_1 + \cdots + X_n - na) \leq x) = \Phi(x)
n→∞limP(nσ1(X1+⋯+Xn−na)≤x)=Φ(x)
这里, Φ ( x ) \Phi(x) Φ(x) 是标准正态分布 N ( 0 , 1 ) N(0,1) N(0,1) 的分布函数,即 Φ ( x ) = 1 2 π ∫ − ∞ ∞ e − t 2 / 2 d t \Phi(x) = \frac{1}{\sqrt{2\pi}}\int^\infty_{-\infty}e^{-t^2/2}\text{d}t Φ(x)=2π1∫−∞∞e−t2/2dt
注意到 X 1 + ⋯ + X n X_1 + \cdots + X_n X1+⋯+Xn 有均值 n a na na,方差 n σ 2 n\sigma^2 nσ2,故 ( X 1 + ⋯ + X n − n a ) / n σ (X_1 + \cdots + X_n - na) / \sqrt{n}\sigma (X1+⋯+Xn−na)/nσ
就是
X
1
+
⋯
+
X
n
X_1 + \cdots + X_n
X1+⋯+Xn 的标准化,即使其均值变为0、方差变为1,以与
N
(
0
,
1
)
N(0,1)
N(0,1) 的均值、方差符合。
这个定理指出,虽然在一般情况下我们很难求出
X
1
+
⋯
+
X
n
X_1 + \cdots + X_n
X1+⋯+Xn 的分布的确切形式,但是当
n
n
n 很大时,可以通过
Φ
(
x
)
\Phi(x)
Φ(x) 给出其近似值。
【定理3】
设
X
1
,
X
3
,
⋯
 
,
X
n
,
⋯
X_1, X_3, \cdots, X_n, \cdots
X1,X3,⋯,Xn,⋯ 独立同分布,
X
i
X_i
Xi 的分布是
P
(
X
i
=
1
)
=
p
,
P
(
X
i
=
0
)
=
1
−
p
(
0
<
p
<
1
)
P(X_i=1)=p,\ P(X_i=0)=1-p\ \ \ (0<p<1)
P(Xi=1)=p, P(Xi=0)=1−p (0<p<1)
则对任何实数 x x x,有 lim n → ∞ P ( 1 n p ( 1 − p ) ( X 1 + ⋯ + X n − n p ) ≤ x ) = Φ ( x ) \lim_{n \rightarrow \infty}P(\frac{1}{\sqrt{np(1-p)}}(X_1 + \cdots + X_n - np) \leq x) = \Phi(x) n→∞limP(np(1−p)1(X1+⋯+Xn−np)≤x)=Φ(x)
【定理3】是【定理2】的特例,只需注意 E ( X i ) = p , Var ( X i ) = p ( 1 − p ) E(X_i)=p, \text{Var}(X_i)=p(1-p) E(Xi)=p,Var(Xi)=p(1−p). 又此处 X 1 + ⋯ + X n X_1 + \cdots + X_n X1+⋯+Xn 服从二项分布 B ( n , p ) B(n,p) B(n,p),故【定理3】是用正态分布去逼近二项分布。
【注】本文内容来自《概率论与数理统计》(陈希儒)