一、依概率收敛
- 定义:设随机变量
X
X
X 与随机变量序列
{
X
n
}
(
n
=
1
,
2
,
3
,
.
.
.
)
\{X_n\}(n=1,2,3,...)
{Xn}(n=1,2,3,...),如果对任意的
ϵ
>
0
\epsilon > 0
ϵ>0 ,有
lim n → ∞ P { ∣ X n − X ∣ ≥ ϵ } = 0 或 lim n → ∞ P { ∣ X n − X ∣ < ϵ } = 1 \lim\limits_{n\to\infin}P\{|X_n-X| \geq \epsilon\} = 0 或 \lim\limits_{n\to\infin}P\{|X_n-X| < \epsilon\} = 1 n→∞limP{∣Xn−X∣≥ϵ}=0或n→∞limP{∣Xn−X∣<ϵ}=1
则称随机变量序列 { X n } \{X_n\} {Xn} 依概率收敛于随机变量 X X X,记为
lim i → ∞ X n = X ( P ) 或 X n ⟶ P X ( n → ∞ ) \lim\limits_{i\to \infin} X_n = X(P) 或 X_n\stackrel{P}{\longrightarrow}X(n\to \infin) i→∞limXn=X(P)或Xn⟶PX(n→∞) - 注:以上定义中将随机变量 X X X 写成数 a a a 也成立
二、大数定律
- 在满足一定的条件下,所有大数定律的结论均为:随机变量均值依概率收敛到均值的期望,即:
1 n ∑ i = 1 n X i ⟶ P E ( 1 n ∑ i = 1 n X i ) \frac{1}{n}\sum\limits_{i=1}^n X_i\stackrel{P}{\longrightarrow} E(\frac{1}{n}\sum\limits_{i=1}^nX_i) n1i=1∑nXi⟶PE(n1i=1∑nXi) - 大数定律的意义在于:期望是一个确定的数,不是变量,大数定律体现了随机变量均值的稳定性,在大样本的情况下,随机变量均值趋于某稳定常数。
1. 切比雪夫大数定律
-
假设 { X n } ( n = 1 , 2 , . . . ) \{X_n\}(n = 1,2,...) {Xn}(n=1,2,...)是相互独立的随机变量序列,如果方差 D X i ( i ≥ 1 ) DX_i(i\geq1) DXi(i≥1)存在且一致有上界,即存在常数 C C C ,使 D X i ≤ C DX_i\leq C DXi≤C 对一切 i ≥ 1 i \geq 1 i≥1均成立,则 { X i } \{X_i\} {Xi} 服从大数定律
1 n ∑ i = 1 n X i ⟶ P 1 n ∑ i = 1 n E X i 即 X ˉ ⟶ P E X ˉ \frac{1}{n}\sum\limits_{i=1}^n X_i\stackrel{P}{\longrightarrow} \frac{1}{n}\sum\limits_{i=1}^n EX_i\\ 即 \bar{X} \stackrel{P}{\longrightarrow} E\bar{X} n1i=1∑nXi⟶Pn1i=1∑nEXi即Xˉ⟶PEXˉ即 随机变量均值依概率收敛到自己的期望
-
条件
- 随机变量序列相互独立
- 方差一致有上界
2. 伯努利大数定律
-
假设 μ n \mu_n μn 是n重伯努利实验中事件A发生的次数,在每次试验中事件A方式的概率为 p ( 0 < p < 1 ) p(0<p<1) p(0<p<1),则 μ n n ⟶ P p \frac{\mu_n}{n} \stackrel{P}{\longrightarrow}p nμn⟶Pp,即对于任意 ϵ > 0 \epsilon > 0 ϵ>0,有
lim n → ∞ P { ∣ μ n n − p ∣ < ϵ } = 1 \lim\limits_{n\to \infin} P\{|\frac{\mu_n}{n}-p|<\epsilon\} = 1 n→∞limP{∣nμn−p∣<ϵ}=1 -
说明
- 伯努利试验(Bernoulli experiment)是在同样的条件下重复地、相互独立地进行的一种随机试验,其特点是该随机试验只有两种可能结果:发生或者不发生。抛硬币就是一种伯努利试验
- n重伯努利实验就是重复做n次伯努利试验。
-
这个定律就是形式化地描述了一个现象:随机事件发生的频率依概率收敛到概率
3. 辛钦大数定律
-
假设 { X n } \{X_n\} {Xn} 是独立同分布的随机变量序列,如果 E X i = μ ( i = 1 , 2 , . . . ) EX_i = \mu(i=1,2,...) EXi=μ(i=1,2,...) 存在,则 1 n ∑ i = 1 n X i ⟶ P μ \frac{1}{n} \sum\limits_{i=1}^n X_i \stackrel{P}{\longrightarrow} \mu n1i=1∑nXi⟶Pμ,即对于任意 ϵ > 0 \epsilon > 0 ϵ>0,有
lim n → ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ϵ } = 1 即 X ˉ = 1 n ∑ i = 1 n X i ⟶ P μ = E X i = E ( 1 n ∑ i = 1 n X i ) = E X ˉ \lim\limits_{n\to \infin}P\{|\frac{1}{n} \sum\limits_{i=1}^n X_i-\mu|<\epsilon\} = 1 \\ 即\bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i \stackrel{P}{\longrightarrow} \mu = EX_i = E(\frac{1}{n} \sum\limits_{i=1}^n X_i) = E\bar{X} n→∞limP{∣n1i=1∑nXi−μ∣<ϵ}=1即Xˉ=n1i=1∑nXi⟶Pμ=EXi=E(n1i=1∑nXi)=EXˉ即 随机变量均值依概率收敛到自己的期望
-
条件
- 随机变量相互独立
- 随机变量同分布
- 随机变量期望存在
三、中心极限定理
-
所有中心极限定理其实在说这样一件事:若随机变量序列 { X i } \{X_i\} {Xi} 独立同分布,它们服从分布 F F F, 有 E X i = μ , D X i = σ 2 EX_i=\mu,DX_i = \sigma^2 EXi=μ,DXi=σ2,则 ∑ i = 1 n X i \sum\limits_{i=1}^nX_i i=1∑nXi 在大样本情况下服从正态分布 N ( n μ , n σ 2 ) N(n\mu,n\sigma^2) N(nμ,nσ2),再标准化后服从标准正太分布,即
若 X i ∼ i . i . d F , E X i = μ , D X i = σ 2 则 ∑ i = 1 n X i ∼ n → ∞ N ( n μ , n σ 2 ) 即 ∑ i = 1 n X i − n μ n σ ∼ n → ∞ N ( 0 , 1 ) 若 X_i \stackrel{i.i.d}{\sim} F,EX_i = \mu,DX_i = \sigma^2\\ 则\sum\limits_{i=1}^nX_i \stackrel{n\to\infin}{\sim} N(n\mu,n\sigma^2) \\ 即\frac{\sum\limits_{i=1}^nX_i-n\mu}{\sqrt{n}\sigma}\stackrel{n\to\infin}{\sim}N(0,1) 若Xi∼i.i.dF,EXi=μ,DXi=σ2则i=1∑nXi∼n→∞N(nμ,nσ2)即nσi=1∑nXi−nμ∼n→∞N(0,1)
-
两种常见的中心极限定理
- 这里定理四就是构造了标准化正态分布,在大样本情况下满足标准正态分布的分布函数
- 定理五就是指定了一个二项分布,二项分布可以拆开成n个两点分布 B ( 1 , p ) B(1,p) B(1,p) 求和,然后带入定理四得到