大样本理论第二课: Preliminary tools and foundations

1.Modes of Convergence

(1).Convergence in Probability

Definition (Convergence in Probability)
Let $X_1,X_2,...$ and $X$ be random variables on a probability space $(\Omega ,\mathcal{F},P)$.
We say $X_n$ convergence in probability to $X$ if
$$P(|X_n-X|>ϵ)\to 0,\text{every}ϵ>0$$
as $n\to \infty$

常记为$X_n\stackrel{P}{\to }X,n\to \infty$

扩展(多元随机变量的依概率收敛) 对于随机的$p$维随机向量for random p-vectors ${\mathbf{X}}_1,{\mathbf{X}}_2,...\text{and}\mathbf{X}$ , we say that ${\mathbf{X}}_n\stackrel{P}{\to }\mathbf{X}$

EX: ${\mathbf{X}}_n\stackrel{P}{\to }\mathbf{X}$ 当且仅当分量是依概率收敛的 .

Proof. 依据定义证明
如果${\mathbf{X}}_n\stackrel{P}{\to }\mathbf{X}$，那么$\forall ϵ>0,P(|{\mathbf{X}}_{\mathbf{n}}-\mathbf{X}|>ϵ)\to 0,n\to \infty$
即 $P(\sqrt{|X_{n_1}-X_1{|}^2+...+|X_{n_p}-X_p{|}^2}>ϵ)\to 0,n\to \infty$
也即$P(\sqrt{|X_{n_1}-X_1{|}^2+...+|X_{n_p}-X_p{|}^2}\le ϵ)\to 1,n\to \infty$
注意到下述关系:
$\forall i,\sqrt{|X_{n_i}-X_i{|}^2}\le \sqrt{|X_{n_1}-X_1{|}^2+...+|X_{n_p}-X_p{|}^2}\le ϵ$
所以,若$n\to \infty$ 时, $分量和\le ϵ$ 的概率趋向1,那么任意一个分量≤$ϵ$自然也是趋于1的.
如果$\forall i,X_{ni}\stackrel{P}{\to }{X}_i$ ,那么$\forall ϵ>0$, $P((X_{ni}-X_i{)}^2>\frac{{ϵ}^2}{p})\to 0$
注意到: { ∣ X n 1 − X 1 ∣ 2 + . . . + ∣ X n p − X p ∣ 2 > ϵ } \{\sqrt{|X_{n_1}-X_1|^2+...+|X_{n_p}-X_p|^2}>\epsilon\} { ∣Xn1​​−X1​∣2+...+∣Xnp​​−Xp​∣2 ​>ϵ}这个事件成立一定能推出 { ∃ i , ( X n i − X i ) 2 > ϵ 2 p } \{\exist i,(X_{ni}-X_i)^2>\frac{\epsilon^2}{p}\} { ∃i,(Xni​−Xi​)2>pϵ2​},而 P ( { ∃ i , ( X n i − X i ) 2 > ϵ 2 p } ) ≤ ∑ i P ( ( X n i − X i ) 2 > ϵ 2 p ) → 0 P(\{\exist i,(X_{ni}-X_i)^2>\frac{\epsilon^2}{p}\})\le \sum_i P((X_{ni}-X_i)^2>\frac{\epsilon^2}{p})\to 0 P({ ∃i,(Xni​−Xi​)2>pϵ2​})≤∑i​P((Xni​−Xi​)2>pϵ2​)→0,所以 P ( { ∣ X n 1 − X 1 ∣ 2 + . . . + ∣ X n p − X p ∣ 2 > ϵ } ) → 0 P(\{\sqrt{|X_{n_1}-X_1|^2+...+|X_{n_p}-X_p|^2}>\epsilon\})\to 0 P({ ∣Xn1​​−X1​∣2+...+∣Xnp​​−Xp​∣2 ​>ϵ})→0

Example1: For i.i.d. Bernoulli trials with a success probability $p=1/2$, let $T_n$ denote
the number of times in the first $n$ trials that a success is followed by a
failure. Show that $T_n/n\stackrel{P}{\to }1/4$.

Proof. 目标是证明$\forall ϵ>0,P(|T_n/n-1/4|>ϵ)\to 0$
技巧:利用Markov不等式: For any $t>0,P(Z>t)\le \frac{E[Z]}{t}$,Where $Z$ is a positive r.v.
$P(|T_n/n-1/4|>ϵ)=P((T_n/n-1/4{)}^2>{ϵ}^2)\le \frac{E(T_n/n-1/4{)}^2}{{ϵ}^2}$
下面就只需要证明$E(T_n/n-1/4{)}^2\to 0,n\to \infty$就可以了:
$E[(T_n/n-1/4{)}^2]=E[T_n^2/n^2-E[T_n/(2n)]+1/16$
令 X i = 1 { 第 i 次 成 功 , 但 是 第 i + 1 次 失 败 } X_i=1_{\{第i次成功,但是第i+1次失败\}} Xi​=1{ 第i次成功,但是第i+1次失败}​, 可知 $T_n={\sum }_{i=1}^{n-1}{X}_i$ 【这一步是想将$T_n$写成随机变量和的形式】
注意到:$X_i$其实就是两点分布,取值1的概率是1/4，取值0的概率是3/4.
$E(T_n)={\sum }_{i=1}^{n-1}E(X_i)=\frac{n-</}{4}$