Chapter 5 大数定律及中心极限定理
5.1 大数定律
定义5.1 设
Y
1
Y_1
Y1,
Y
2
Y_2
Y2,
…
…
…,
Y
n
Y_n
Yn,
…
…
… 为一个随机变量序列,c为一常数,若对于
∀
ε
>
0
\forall\varepsilon>0
∀ε>0 ,均有:
lim
x
→
∞
P
{
∣
Y
n
−
c
∣
≥
ε
}
=
0
\displaystyle\lim_{x \to \infty}{P\{|Y_n-c|\geq\varepsilon\}}=0
x→∞limP{∣Yn−c∣≥ε}=0
成立,则称随机变量序列
{
Y
n
,
n
≥
1
}
\{Y_n,n\geq1\}
{Yn,n≥1}依概率收敛于c,记为
Y
n
⟶
P
c
Y_n \stackrel{P}{\longrightarrow}c
Yn⟶Pc, 当
n
→
∞
n\rightarrow\infty
n→∞ .
定理 (Chebyshev不等式) 设随机变量具有数学期望
E
(
X
)
=
μ
E(X)=\mu
E(X)=μ, 方差
D
(
X
)
=
σ
2
D(X)=\sigma^2
D(X)=σ2,则对于任意
ε
>
0
\varepsilon>0
ε>0, 都有:
P
{
∣
X
−
μ
∣
≥
ε
}
≤
σ
2
ε
2
P\{|X-\mu|\geq\varepsilon\}\leq\dfrac{\sigma^2}{\varepsilon_2}
P{∣X−μ∣≥ε}≤ε2σ2
定理的等价形式:
P
{
∣
X
−
μ
∣
<
ε
}
≥
1
−
σ
2
ε
2
P\{|X-\mu|<\varepsilon\}\geq1-\dfrac{\sigma^2}{\varepsilon_2}
P{∣X−μ∣<ε}≥1−ε2σ2
适用范围:对于期望、存在的随机变量(范围广,但结果比较粗糙)
定理1 (Bernoulli大数定律) 设
n
A
n_A
nA为n重Bernoulli试验中事件A发生的次数,
p
(
0
<
p
<
1
)
p(0<p<1)
p(0<p<1)为事件A在每次试验中发生的概率,则对于$ \varepsilon > 0$,有
lim
n
→
+
∞
P
(
∣
n
A
n
−
p
∣
⩾
ε
)
=
0
\displaystyle\lim_{n \rightarrow +\infty} P\left( \left\vert \dfrac{n_A}{n} - p \right\vert \geqslant \varepsilon \right) = 0
n→+∞limP(∣∣∣nnA−p∣∣∣⩾ε)=0
即事件A发生的频率
n
A
n
\dfrac{n_A}{n}
nnA依概率收敛到A发生的概率
p
p
p。
定理2 (切比雪夫大数定律的推论)
X
1
,
X
2
,
…
,
X
n
,
…
X_1, X_2, …,X_n,…
X1,X2,…,Xn,…为相互独立的随机变量,且具有相同的期望
μ
\mu
μ, 相同的方差
σ
2
\sigma^2
σ2, 那么
1
n
∑
i
=
1
n
X
i
⟶
P
μ
,
(
n
→
∞
)
\dfrac{1}{n}\displaystyle\sum_{i=1}^{n}X_i\stackrel{P}{\longrightarrow}\mu, (n\rightarrow\infty)
n1i=1∑nXi⟶Pμ,(n→∞)
定理3 (辛钦大数定理)
X
1
,
X
2
,
…
,
X
n
,
…
X_1, X_2, …,X_n,…
X1,X2,…,Xn,…为相互独立的随机变量,且其期望存在,记为
μ
{\mu}
μ, 那么
1
n
∑
i
=
1
n
X
i
⟶
P
μ
,
(
n
→
∞
)
\dfrac{1}{n}\displaystyle\sum_{i=1}^{n}X_i\stackrel{P}{\longrightarrow}\mu, (n\rightarrow\infty)
n1i=1∑nXi⟶Pμ,(n→∞)
5.2 中心极限定理
定理1(独立同分布的中心极限定理) 设随机变量
X
1
,
X
2
,
…
,
X
n
,
…
X_1, X_2, …,X_n,…
X1,X2,…,Xn,…,相互独立且同分布,
E
(
X
i
)
=
μ
E(X_i)=\mu
E(Xi)=μ,
D
(
X
i
)
=
σ
2
D(X_i)=\sigma^2
D(Xi)=σ2,
i
=
1
,
2
,
…
i=1,2,…
i=1,2,…,则对于充分大的n,有
∑
i
=
1
n
X
i
∼
近
似
N
(
n
μ
,
n
σ
2
)
\displaystyle\sum_{i=1}^{n}X_i \stackrel{近似}{\sim}N(n\mu,n\sigma^2)
i=1∑nXi∼近似N(nμ,nσ2).此时
P
(
a
<
∑
i
=
1
n
X
i
≤
b
)
≈
Φ
(
b
−
n
μ
n
σ
)
−
Φ
(
a
−
n
μ
n
σ
)
P(a<\displaystyle\sum_{i=1}^{n}X_i\leq b)\approx\Phi(\dfrac{b-n\mu}{\sqrt{n} \sigma})-\Phi(\dfrac{a-n\mu}{\sqrt{n} \sigma})
P(a<i=1∑nXi≤b)≈Φ(nσb−nμ)−Φ(nσa−nμ)
定理3 (De Moivre-Laplace定理) 设
n
A
n_A
nA为n重Bernoulli试验中事件A发生的次数,
p
(
0
<
p
<
1
)
p(0<p<1)
p(0<p<1)为事件A在每次试验中发生的概率,则对于充分大的
n
n
n有
n
A
∼
N
(
n
p
,
n
p
(
1
−
p
)
)
n_A \sim N(np, np(1-p))
nA∼N(np,np(1−p))
即对于二项分布 B ( n , p ) B(n,p) B(n,p),当 n n n充分大的时候,可用正态分布来近似。