Convergence of probability measure P. Billingsley 笔记：Chapter 1-12 （正在进行中）

自学记录+对自己的一种督促，把学习理论统计知识的过程和思路进行一个分享，现在是本书的第一遍自学，还会有第二遍及补充的总结内容，这里献丑了。希望能帮到各位需要的朋友。本人水平有限，写的不对的地方请指出，谢谢！

第一章：测度，紧性

符号：

$S$: 度量空间
$\mathcal{S}$: Borel $\sigma -$代数
$\rho (,.,)$: 距离
$Pf={\int }_{S}fdP$
uniform metric: $\rho (x,y)=||x-y||={\sup }_x|x(t)-y(t)|$

定义：

1.1 弱收敛 weakly convergence：

$P_{n}f\to Pf$对任意在S上的有界连续函数成立，记作$P_n\Rightarrow P$.

1.2 可分空间（Separable）：

包含可数稠密子集

1.3 完全空间（Complete）：

满足cauchy收敛性的空间

1.4 紧测度（Tight）

对于任意$ϵ$, 存在紧集$K$ s.t. $P(K)>1-ϵ$

知识体系/定理

Thm 1.1. 概率测度完全由其闭集上的测度决定

任意在$(S,\mathcal{S})$上的概率测度$P$都满足：对任意$\mathcal{S}-$集合A和任意$ϵ$, 存在闭集$F$和开集$G$，满足$F\subset A\subset G$ 且 $P(G-F)<ϵ$。
证明思路： 可直接用外测度，引出对集合A的L-覆盖(可数开矩体覆盖） { I k } \{I_k\} { Ik​}, s.t. ${\sum }_{i=1}^{\infty }|I_k|<m(E)+ϵ/2$，故取开集$G={\bigcup }_{i=1}^{\infty }{I}_k$。对于$A^c$，进行相同操作再取补即可。
相关：对于闭集$F$，可用来考虑逼近用的3个‘距离’函数：
$I_F(x)$
$I_{F^{ϵ}}(x)$: F ϵ = { x : ρ ( x , A ) < ϵ } F^{\epsilon}=\{x:\rho(x,A)<\epsilon \} Fϵ={ x:ρ(x,A)<ϵ};
$f=(1-\rho (x,F)/ϵ{)}^{+}$
我们有：$I_F(x)\le f(x)\le I_{F^{ϵ}}(x)$

Thm 1.2 处理$P$等同于处理$P(A)$等同于处理$Pf$

如果$\mathcal{S}$上的概率测度$P$和$Q$满足：$Pf=Qf$对一切有界一致连续函数$f$成立，则$P=Q$.
证明思路：$P_{I_F}\le Pf=Qf\le Q_{I_{F^{ϵ}}}$, $Q_{I_F}\le Qf=Pf\le P_{I_{F^{ϵ}}}$，再令$ϵ\to 0$即可。

Thm 1.3. 对于完全可分空间$S$，每个其上的概率测度皆紧

证明思路：对任意$k$, 有$1/k$开球覆盖S($A_{k1},A_{k2},...$)， 可找到$n_k$ s.t. $P\left({\bigcup }_{i\le n_k}{A}_{ki}\right)>1-ϵ/2^k$。${\bigcap }_{k\ge 1}{\bigcup }_{i\le n_k}{A}_{ki}$有紧闭包$K$. $P(K)>1-ϵ$。

第二章：弱收敛的性质

符号

$D_h$：$h$的不连续点集

定义

$P-$连续集A：$P(\partial A)$满足$P(\partial A)=0$。
收敛决定类$\mathcal{A}$（convergence-determining class）:对$\mathcal{A}$中集合$A$, $P_n(A)\to P(A)$可推出$P_n\Rightarrow P$【即刻画概率测度的收敛】

知识体系/定理

Portmanteau Thm （一部分特征的收敛刻画整个的收敛）

以下等价：
(i) $P_n\Rightarrow P$.
(ii) $P_{n}f\to Pf$对所有有界、一致连续函数 $f$成立.
(iii) $\lim {\sup }_n{P}_{n}F\le PF$ 对所有闭集 $F$成立.
(iv) $\underset{n}{\mathrm{liminf}}{P}_{n}G\ge PG$ 对所有开集$G$成立.
(v) $P_{n}A\to PA$ 对所有 $P$-连续集 $A$成立.
证明思路：(i)$\to$ (ii): 定义
(ii)$\to$ (iii)：对于$f=(1-\rho (x,F)/ϵ{)}^{+}$，仍然借助闭集逼近的办法：$\lim {\sup }_n{P}_{n}F\le \lim {\sup }_n{P}_{n}f=Pf\le P{F}^{ϵ}$；
(iii)$\to$ (iv)：取补
(iii)+（iv）$\to$ (v)：对$A$的闭包$A^{-}$和内部$A^{\circ }$，(iii)和（iv）可推得：
$$P(A^{-})\ge \lim \underset{n}{\sup }{P}_n(A^{-})\ge \lim \underset{n}{\sup }{P}_n(A)\ge \lim \underset{n}{\inf }{P}_n(A)\ge \lim \underset{n}{\inf }{P}_n(A^{\circ })\ge P(A^{\circ })$$
因为$P(\partial A)=0$，（v）成立
(v)$\to$ (i)对于取值在[0,1]有界函数$f$，$Pf={\int }_0^{1}P[f>t]dt$，同理$P_{n}f={\int }_0^1{P}_n[f>t]dt$。因为$\partial [f>t]\subset [f=t]$且$f$连续，故$[f>t]$为P-连续集a.s.；所以$P_n[f>t]\to P[f>t]$，由有界收敛定理可知（i）成立。

其他的特征

Thm2.2 满足集合可列可加性的$\pi -$系$\mathcal{A}$是收敛决定类(对$\mathcal{A}$中集合$A$, $P_n(A)\to P(A)$可推出$P_n\Rightarrow P$）

证明思路：开集$G={\bigcup }_{i=1}^{\infty }{A}_i$，可找到$n_0$,s.t. $P({\bigcup }_{i=1}^{n_0}{A}_i)>P(G)-ϵ$。 其中${\bigcup }_{i=1}^{n_0}{A}_i$在每个$P_n$中可用容斥原理逼近，即$P_n({\bigcup }_{i=1}^{n_0}{A}_i)\to P({\bigcup }_{i=1}^{n_0}{A}_i)$。所以$\lim \inf P_n(G)\ge \lim \inf P_n({\bigcup }_{i=1}^{n_0}{A}_i)\ge P(G)-ϵ$，根据$ϵ$的任意性，可由Thm2.1 （iv）得出结论。

Thm 2.3 度量空间可分，存在一个$\pi -$系$\mathcal{A}$，其中总有足够小的开集包含在任意开球$B(x,ϵ)$中，则$\mathcal{A}$是收敛决定类。

证明思路：度量空间可分性可召唤Lindelof性，即开集必有可数包含于$ϵ-$开球的开覆盖，
此时thm2.2的条件得到满足。

Thm 2.4 度量空间可分，存在一个$\pi -$系$\mathcal{A}$，其中对于任意开球$B(x,ϵ)$，令${\mathcal{A}}_{x,ϵ}$表示$\mathcal{A}$中满足$x\in A^{\circ }\subset A\subset B(x,ϵ)$的集类，若$\partial {\mathcal{A}}_{x,ϵ}$（边界集类）要么包含空集，要么包含不可数个不交集，则$\mathcal{A}$是收敛决定类。
证明思路：即满足条件的$\partial {\mathcal{A}}_{x,ϵ}$总是有个0测集（空集or与其他无交）然后其必包含于$P-$连续集类${\mathcal{A}}_P$中，同时${\mathcal{A}}_P$是$\pi$-系，故${\mathcal{A}}_P$满足Thm2.3的条件。

Thm 2.6 $P_n\Rightarrow P$当且仅当任意测度子列包含子列收敛至$P$。
证明思路充分性通过反证法+有子列$|P_{n_i}f-Pf|>ϵ$故这个子列的子列无法收敛至$P$。

连续映射定理

$P_n\Rightarrow P$ 且$P{D}_h=0$, 则$P_n{h}^{-1}\Rightarrow P{h}^{-1}$。
证明思路：从闭集出发，去掉不连续点集后可把闭包符号套入函数内。
$\lim \sup P_n(h^{-1}F)\le \lim \sup P_n(h^{-1}F{)}^{-}\le P(h^{-1}F)\le P(h^{-1}F{)}^{-}\cap D_h^c\le P(h^{-1}(F^{-}))\le P(h^{-1}(F))$ 即为Thm2.1 的（iii）

乘积空间中的收敛判定

Thm 2.8.1 $T=S^{\prime }\times S^{\prime \prime }$可分，则$P_n\Rightarrow P$当且仅当$P_n（A^{\prime }\times A^{\prime \prime }）\Rightarrow P（A^{\prime }\times A^{\prime \prime }）$在任意$P^{\prime }$-连续集$A^{\prime }$和$P^{\prime \prime }$-连续集$A^{\prime \prime }$上成立。
Thm 2.8.2 $T=S^{\prime }\times S^{\prime \prime }$可分，则$P_n^{\prime }\times P_n^{\prime \prime }\Rightarrow P^{\prime }\times P^{\prime \prime }$当且仅当$P_n^{\prime }\Rightarrow P^{\prime }$且$P_n^{\prime \prime }\Rightarrow P^{\prime \prime }$。

第三章：另一种说法：依分布收敛

符号

$\mathcal{L}(X)$: Law of $X$
$Pf$: $E[f(X)]$

定义

随机变量：$S$是$\mathbb{R}$
随机序列：$S$是${\mathbb{R}}^{\infty }$
分布：$P=P(X^{-1}):PA=P(X^{-1}A)=P[X\in A]$，亦称为law of $X$
依概率收敛：$P[\rho (X_n,a)<ϵ]\to 1$。记作$X_n\Rightarrow a$
$X_n$一致可积：${\lim }_{\alpha }{\sup }_n{\int }_{|X_n|\ge \alpha }\left|X_n\right|dP=0$

知识体系

一些说法上的一致性：

若$X_n\Rightarrow X$, 其中$X_n\sim P_{n}X\sim P$, 则以下表示一致：
$\{\begin{array}{l}{P}_n\Rightarrow P\\ X_n\Rightarrow X\\ X_n\Rightarrow P\\ P_n\Rightarrow X\end{array}$

依概率收敛

Thm3.1 基本定理从联合分布推依分布收敛
$X_n\Rightarrow X,\rho (X_n,Y_n)\Rightarrow 0$, 则$Y_n\Rightarrow X$。
证明思路：同加一个减一个，即先写出对于闭集$F$, F ϵ = { x : ρ ( x , F ) < ϵ } F_{\epsilon}=\{x: \rho(x,F)<\epsilon\} Fϵ​={ x:ρ(x,F)<ϵ}
此时，$P(Y_n\in F)\le P(X_n\in F_{ϵ})+P(\rho (X_n,Y_n)\ge ϵ)$。所以$\lim \sup P(Y_n\in F)\le P(X_n\in F_{ϵ})$，再令$ϵ\to 0$即得。

Thm3.2 $(X_{un},X_n)$ 满足$X_{un}{\Rightarrow }_n{Z}_u{\Rightarrow }_{u}X$ 且${\lim }_u{\lim }_n\sup P[\rho (X_{un},X_n)\ge ϵ]=0$ 对任意$ϵ$成立
证明思路：与之前相同，
$\mathrm{P}\left[X_n\in F\right]\le \mathrm{P}\left[X_{un}\in F_{ϵ}\right]+\mathrm{P}\left[\rho \left(X_{un},X_n\right)\ge ϵ\right]$，两边$\underset{n}{\mathrm{limsup}}$，则$\lim {\sup }_n\mathrm{P}\left[X_n\in F\right]\le \mathrm{P}\left[Z_u\in F_{ϵ}\right]+\lim {\sup }_n\mathrm{P}\left[\rho \left(X_{un},X_n\right)\ge ϵ\right]$。

再两边$\underset{u}{\mathrm{limsup}}$，则$\lim {\sup }_n\mathrm{P}\left[X_n\in F\right]\le \mathrm{P}\left[X\in F_{ϵ}\right]$。

局部收敛vs积分后收敛

局部收敛可推出积分后收敛
对于$\left[y:x_i-{\delta }_i(n)<y_i\le x_i,i\le k\right],x\in L_n$，$v_n={\delta }_1(n)...{\delta }_k(n)$
Thm3.3 对于${\delta }_1(n)\vee \cdots \vee {\delta }_k(n){\to }_{n}0$，若$x_n\to x$可推出$p_n(x_n)/v$