在数学与统计学中,大数定律又称大数法则、大数律,是描述相当多次数重复实验的结果的定律。根据这个定律知道,样本数量越多,则其平均就越趋近期望值。
大数定律主要有两种表现形式:弱大数定律和强大数定律。定律的两种形式都肯定无疑地表明,样本均值:
X ‾ n = 1 n ( X 1 + X 2 + . . . + X n ) \overline{X}_n=\frac{1}{n}(X_1+X_2+...+X_n) Xn=n1(X1+X2+...+Xn)
收敛于期望值:
X ‾ n → u , n → ∞ \overline{X}_n \rightarrow u , n\rightarrow\infty Xn→u,n→∞
其中 X 1 , X 2 , . . . X_1, X_2, ... X1,X2,... 是独立同分布、期望值 E ( X 1 ) = E ( X 2 ) = . . . = u E(X_1)=E(X_2)=...=u E(X1)=E(X2)=...=u ,且皆勒贝格可积的随机变量构成的无穷序列。 X j X_j Xj 的勒贝格可积性意味着期望值 E ( X j ) E(X_j) E(Xj) 存在且有限。
方差 V a r ( X 1 ) = V a r ( X 2 ) = . . . = σ 2 < ∞ Var(X_1)=Var(X_2)=...=\sigma^2<\infty Var(X1)=Var(X2)=...=σ2<∞ 有限的假设是非必要的。很大或者无穷大的方差会使其收敛得缓慢一些,但大数定律仍然成立。通常采用这个假设来使证明更加简洁。
强(大数定理)和弱(大数定理)之间的差别在所断言的收敛的方式。
弱大数定律
弱大数定律也称为辛钦定理,陈述为:样本均值依概率收敛
于期望值
X
‾
n
→
P
μ
as
n
→
∞
{ {\overline {X}}_{n}\ {\xrightarrow {P}}\ \mu \quad {\textrm {as}}\quad n\to \infty }
Xn P μasn→∞
也就是说对于任意正数
ε
\varepsilon
ε 有
lim
n
→
∞
P
(
 
∣
X
‾
n
−
μ
∣
>
ε
 
)
=
0
{ \lim _{n\to \infty }P\left(\,|{\overline {X}}_{n}-\mu |>\varepsilon \,\right)=0}
limn→∞P(∣Xn−μ∣>ε)=0
强大数定律
强大数定律指出,样本均值以概率1收敛
于期望值。
X ‾ n → a.s. μ as n → ∞ { {\overline {X}}_{n}\ {\xrightarrow {\text{a.s.}}}\ \mu \quad {\textrm {as}}\quad n\to \infty } Xn a.s. μasn→∞,即 P ( lim n → ∞ X ‾ n = μ ) = 1 { P\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1} P(limn→∞Xn=μ)=1
切比雪夫定理的特殊情况
设 a 1 , a 2 , … , a n , … {a_{1},\ a_{2},\ \dots \ ,\ a_{n},\ \dots } a1, a2, … , an, … 为相互独立的随机变量,其数学期望为: E ( a i ) = μ ( i = 1 , 2 , …   ) {E(a_{i})=\mu \quad (i=1,\ 2,\ \dots )} E(ai)=μ(i=1, 2, …),方差为: V a r ( a i ) = σ 2 ( i = 1 , 2 , …   ) {Var (a_{i})=\sigma ^{2}\quad (i=1,\ 2,\ \dots )} Var(ai)=σ2(i=1, 2, …)
则序列 a ‾ = 1 n ∑ i = 1 n a i {\overline {a}}={\frac {1}{n}}\sum _{i=1}^{n}a_{i} a=n1∑i=1nai 依概率收敛于 μ \mu μ(即收敛于此数列的数学期望 E ( a i ) E(a_{i}) E(ai)。
换言之,在定理条件下,当 n 无限变大时,n 个随机变量的算术平均将变成一个常数。
伯努利大数定律
设在 n 次独立重复伯努利试验中,事件 X 发生的次数为
n
x
n_{x}
nx 。事件 X 在每次试验中发生的母体机率为 p。
n
x
n
{\frac {n_{x}}{n}}
nnx 代表样本发生事件 X 的频率。
大数定律可用机率极限值定义: 则对任意正数 ε > 0 \varepsilon >0 ε>0,下式成立:
lim n → ∞ P { ∣ n x n − p ∣ < ε } = 1 \lim _{n\to \infty }{P{\left\{\left|{\frac {n_{x}}{n}}-p\right|<\varepsilon \right\}}}=1 limn→∞P{∣∣nnx−p∣∣<ε}=1
定理表明事件发生的频率依机率收敛于事件的母体机率。
定理以严格的数学形式表达了频率的稳定性。
就是说当 n 很大时,事件发生的频率于母体机率有较大偏差的可能性很小。
THE END.