最近学习过程中会遇到概率相关的问题,这里对晦涩难懂的大数定律和中心极限定理做一个汇总。
大数定律
大数定律告诉我们: 当对一个随机变量进行无限次采样时,能用频率近似代替概率,能用样本均值近似代替总体均值。
- 强大数定律想证明: 采样的次数越多,平均值几乎一定越来接近真实期望值
- 弱大数定律想证明:采样的次数越多,平均值接近真实期望值的可能性越来越大
设 X 1 , X 2 , . . . , X n , . . . . X_1, X_2, ..., X_n, .... X1,X2,...,Xn,.... 这些变量相互独立,是服从 同一分布 的随机变量序列, E ( X k ) = μ E(X_k) = \mu E(Xk)=μ, μ n = ∑ i = 1 n X i / n \mu_n = \sum\limits_{i=1}^{n} X_i / n μn=i=1∑nXi/n。
强大数定律认为: ∀ ϵ > 0 , P ( lim n → ∞ ∣ μ n − μ ∣ ≤ ϵ ) = 1 \forall \epsilon > 0, P(\lim\limits_{n\rightarrow\infty}|\mu_n - \mu|\leq\epsilon) = 1 ∀ϵ>0,P(n→∞lim∣μn−μ∣≤ϵ)=1
弱大数定律认为: ∀ ϵ > 0 , lim n → ∞ P ( ∣ μ n − μ ∣ ≤ ϵ ) = 1 \forall \epsilon > 0, \lim\limits_{n\rightarrow\infty}P(|\mu_n-\mu|\leq\epsilon)=1 ∀ϵ>0,n→∞limP(∣μn−μ∣≤ϵ)=1
上述公式的差别其实仅仅在 P P P 与 l i m lim lim 符号的位置,但是两者的含义却有很大差异。我们不妨改写一下公式的极限部分
强大数定律:
∀
ϵ
>
0
,
∃
N
∈
N
+
,
\forall \epsilon>0, \exists N \in \mathbb{N^+},
∀ϵ>0,∃N∈N+, 当
n
>
N
n > N
n>N 时,
P
(
∣
μ
n
−
μ
∣
<
ϵ
)
=
1
P(|\mu_n-\mu|<\epsilon)=1
P(∣μn−μ∣<ϵ)=1
弱大数定律:
∀
ϵ
>
0
,
∀
δ
>
0
,
∃
N
∈
N
+
\forall \epsilon>0, \forall \delta > 0, \exists N \in \mathbb{N^+}
∀ϵ>0,∀δ>0,∃N∈N+,当
n
>
N
n > N
n>N 时,
∣
P
(
∣
μ
n
−
μ
∣
≤
ϵ
)
−
1
∣
≤
δ
|P(|\mu_n - \mu|\leq\epsilon)-1| \leq \delta
∣P(∣μn−μ∣≤ϵ)−1∣≤δ
由上述化简后的式子可以看出:
-
对于强大数定律, 随着 n n n 的不断增大, ∀ ϵ > 0 , P ( ∣ μ n − μ ∣ < ϵ ) = 1 \forall \epsilon>0, P(|\mu_n-\mu|<\epsilon)=1 ∀ϵ>0,P(∣μn−μ∣<ϵ)=1 这件事几乎是必然发生, μ n \mu_n μn 几乎一定能 不断接近真实的 μ \mu μ。
-
对于弱大数定律,随着 n n n 的不断增大, ∀ ϵ > 0 , P ( ∣ μ n − μ ∣ < ϵ ) = 1 \forall \epsilon>0, P(|\mu_n-\mu|<\epsilon)=1 ∀ϵ>0,P(∣μn−μ∣<ϵ)=1 这件事 发生的概率 是逐渐增大的, μ n \mu_n μn 越有可能 接近真实的 μ \mu μ。