01.第一章 初等概率论

第一章 初等概率论

1.概率空间、随机变量与数字特征

概率空间通常记作$(\Omega ,\mathcal{F},P)$，其中$\Omega$是样本空间表示随机试验的所有可能基本结果，$\mathcal{F}$表示事件域，$P$代表概率。

• $\Omega$由一系列样本点$\omega$组成（有限或无限），且$P(\Omega )=1$；
• $\mathcal{F}$是事件域，是所有事件$A$的集合；每一个事件$A$包含一系列样本点$\omega$；
• $P$是作用于事件域$\mathcal{F}$上的函数。

在给定事件$B$已经发生的情况下$A$发生的概率称为条件概率，定义为
$$P(A|B)=\frac{P(AB)}{P(B)},A,B\in \mathcal{F}$$
由概率空间的定义，$(\Omega ,\mathcal{F},P(\cdot |B))$也是一个概率空间。有一些与条件概率相关的公式：

1. 全概率公式：对于一个完备事件组$B_1,\cdots ,B_N(N\le \infty )$，即两两不相容且$\Omega ={\sum }_{i=1}^N{B}_i$，则对任意事件$A$有
   $$P(A)=\sum _{i=1}^{N}P(A|B_i)P(B_i)$$
   由此推论，对于事件$B$，若$\bar{B}$为其反，则
   $$P(A)=P(A|B)P(B)+P(A|\bar{B})P(\bar{B})$$

2. 链式法则：由于$P(AB)=P(B)P(A|B)$，故进行推广，有
   $$P(A_1\cdots A_m)=P(A_1)P(A_2|A_1)\cdots P(A_m|A_{m-1}\cdots A_1)$$

两个事件独立，指的是事件$B$发生对事件$A$的概率没有影响。也就是说$A,B$独立等价于
$$P(A|B)=P(A)\iff P(AB)=P(A)P(B)$$
如果推广到多个事件，则$A_1,\cdots ,A_m$相互独立需要同时满足以下方程：
$$\{\begin{array}{lc}P(A_i{A}_j)=P(A_i)P(A_j),& i<j,\\ P(A_i{A}_j{A}_k)=P(A_i)P(A_j)P(A_k),& i<j<k,\\ \cdots & \cdots \\ P(A_1{A}_2\cdots A_n)=P(A_1)P(A_2)\cdots P(A_n).& \end{array}$$
即同时满足事件组中任意两个、三个直至$n$个事件都是互相独立的。再推广到两个事件域${\mathcal{A}}_1,{\mathcal{A}}_2$，如果$\forall A_1\in {\mathcal{A}}_1,A_2\in {\mathcal{A}}_2$都有$A_1,A_2$独立，则称事件域${\mathcal{A}}_1,{\mathcal{A}}_2$独立。

---

随机变量$X$是$\Omega \mapsto \mathbb{R}$的一个映射，给定事件$B\in \mathcal{B}$，这里$\mathcal{B}$是$\mathbb{R}$上所有左开右闭有限区间构成的集合，满足可测性条件
X − 1 ( B ) = { ω ∈ Ω : X ∈ B } ∈ A X^{-1}(B)=\{\omega\in\Omega:X\in B\}\in\mathcal A X−1(B)={ω∈Ω:X∈B}∈A
随机变量$X$在概率$P$下的分布函数$F_X(x)$定义为
$$F_X(x)=P(\omega :X\le x),x\in \mathbb{R}$$
最常见的随机变量是离散随机变量与连续随机变量。离散随机变量可以用一个概率分布列表示，
$$X\sim \left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_N\\ p_1& p_2& \cdots & p_N\end{array}\right),\sum _{i=1}^N{p}_i=1,N\le \infty$$
连续随机变量可以用概率密度表示，记作$X\sim p(x)$，概率密度$p(x)$满足
$$F(x)={\int }_{-\infty }^{x}p(u)du,x\in \mathbb{R}$$
将随机变量整合就得到随机向量$(X,Y)$，其分布函数定义为
$$F_{X,Y}(x,y)=P(\omega :X\le x,Y\le y)$$
记边际分布函数为
$$F_X(x)=F_{X,Y}(x,\infty ),F_Y(y)=F_{X,Y}(\infty ,y)$$
联合分布可以唯一确定边际分布，但两个边际分布不能确定联合分布。

1. 如果随机向量$(X,Y)$是离散型的，则条件分布列为

   $$P_{Y|X}(y_j|x_i)=\frac{p_{ij}}{p_{i\cdot }},P_{X|Y}(x_i|y_j)=\frac{p_{ij}}{p_{\cdot j}}$$

   相互独立等价于$p_{ij}=p_{i\cdot }{p}_{\cdot j}$。

2. 如果随机向量$(X,Y)$是连续型的，则条件密度为
   $$p_{Y|X}(y|x)=\frac{p(x,y)}{p_X(x)},p_{X|Y}=\frac{p(x,y)}{p_Y(y)}$$
   其中
   $$\begin{gathered} F_{X,Y}(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}p(u,v)dudv,x,y\in \mathbb{R} \\ {p}_X(x)={\int }_{-\infty }^{\infty }p(x,y)dy,p_Y(y)={\int }_{-\infty }^{\infty }p(x,y)dx \end{gathered}$$
   相互独立等价于
   $$p(x,y)=p_X(x)p_Y(y)$$

---

对于随机变量$X$，设其分布函数为$F(x)$，密度函数为$p(x)$或概率分布列为$p_i$，则有以下数字特征：

1. 期望

   对于离散随机变量，如果${\sum }_{i=1}^N|x_i|p_i<\infty$，则期望为
   $$EX=\sum _{i=1}^N{x}_i{p}_i$$

   对于连续随机变量，如果${\int }_{-\infty }^{\infty }|x|p(x)dx<\infty$，则期望为
   $$EX={\int }_{-\infty }^{\infty }xp(x)dx$$
   期望的表达式为
   $$EX={\int }_{-\infty }^{\infty }xdF(x)$$
   对于随机变量函数$f(X)$，其期望为
   $$Ef(X)={\int }_{-\infty }^{\infty }f(x)dF(x)$$
   定义$E{X}^k$为随机变量$X$的$k$阶矩。矩母函数$G_X(t)$定义为
   $$G_X(t)=E(e^{tX})={\int }_{-\infty }^{\infty }{e}^{tx}dF(x)$$
   矩母函数并不总是存在，但如果两个随机变量拥有有限且相同的矩母函数，则这两个随机变量同分布。

2. 方差

   对于随机变量$X$，如果$E{X}^2<\infty$，则定义方差为
   $$DX=E(X-EX{)}^2=E{X}^2-(EX{)}^2$$
   关于方差有一个切比雪夫不等式，为
   $$P(|X-EX|>\epsilon )\le \frac{DX}{{\epsilon }^2}$$
   如果令$T=|X-EX|$，则有
   $$\begin{gathered} P(T>\epsilon )=P(T^2>{\epsilon }^2)\le \frac{E{T}^2}{{\epsilon }^2} \\ P(X>a)\le \frac{EX}{a},X\ge 0,a>0 \end{gathered}$$
   得到马尔科夫不等式的形式，因此马尔科夫不等式可以用来证明切比雪夫不等式。

3. 协方差

   对于随机变量$X,Y$，协方差与相关系数定义为
   $$\begin{gathered} Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EXEY \\ {\rho }_{X,Y}=\frac{Cov(X,Y)}{\sqrt{DX\cdot DY}}\in [-1,1] \end{gathered}$$
   如果两个随机变量协方差为0，则意味着两个随机变量相互独立；如果相关系数为$\pm 1$，则意味着两个随机变量之间存在线性关系。

   多维随机向量的协方差矩阵定义为
   $$\mathbf{\Sigma }=(c_{ij}{)}_{n\times n},c_{ij}=Cov(X_i,X_j)$$

与以上几种数字特征相关的计算公式如下：
$$\begin{gathered} Y=aX+b\Rightarrow EY=aEX+b,DY=a^{2}DX; \\ E(X+Y)=EX+EY; \\ D(X+Y)=DX+DY+2Cov(X,Y); \\ Cov(aX,bY)=Cov(bY,aX)=abCov(X,Y); \\ Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z). \end{gathered}$$
在有了条件分布后可以类似定义条件期望，在绝对值有限的情况下，条件期望是
$$E(Y|X=x)={\int }_{-\infty }^{\infty }yd{F}_{Y|X}(y|x)$$
对于连续情形，有
$$E(Y|X)={\int }_{-\infty }^{\infty }y{p}_{Y|X}(y|x)dy={\int }_{-\infty }^{\infty }\frac{yp(x,y)}{p_X(x)}dy$$
对于离散情形，有
$$E(Y|X=x_i)=\sum _{j=1}^{n}y{p}_{ij}$$
如果对于每一个$x$，$E(Y|X=x)$都存在且有限，则定义$g(x)=E(Y|X=x)$，类似定义$g(X)=E(Y|X)$，有全期望公式：
$$E[E(Y|X)]=E(g(X))=EY$$

---

随机变量$X$的特征函数被定义为
$${\varphi }_X(t)=E{e}^{itX}={\int }_{-\infty }^{\infty }{e}^{itx}d{F}_X(x)，t\in \mathbb{R}$$
任何随机变量的特征函数都存在，且具有以下基本性质：

1. $\varphi (0)=E(1)=1$；

2. $\forall t\in \mathbb{R},|\varphi (t)|\le 1$；

3. $\varphi (t)$在$\mathbb{R}$上一致连续，且非负定；

4. 如果对某个$k\ge 1$有$E{X}^k<\infty$，那么${\varphi }_X(t)$在$t=0$处$k$次连续可微，且
   $${\varphi }_X^{(k)}(0)=i^{k}E{X}^k$$
   这可以用于求随机变量的$k$阶矩；

5. 如果$X,Y$相互独立，则有
   $${\varphi }_{X+Y}(t)={\varphi }_X(t){\varphi }_Y(t),t\in \mathbb{R}$$

6. 给定两个随机变量$X,Y$，它们分布函数相同当且仅当特征函数相同。

2.收敛与极限定理

几乎处处收敛：如果存在一个零概率事件${\Omega }_0$，使得对任意$\omega \in \Omega -{\Omega }_0$，当$n\to \infty$时有$X_n(\omega )\to X(\omega )$，则称$X_n$几乎处处收敛于$X$，记作$X_n\to X\text{ a.s.}$。这是所有收敛性中最强的一种。

依概率收敛：如果对任意$\epsilon >0$，有$\underset{n\to \infty }{\lim }P(\omega :|X_n(\omega )-X(\omega )|>\epsilon )=0$，则称$X_n$依概率收敛于$X$，记作$X_n\stackrel{P}{⟶}X$。依概率收敛比几乎处处收敛弱。

相关定理：

1. 如果对某个$r>0$，有
   $$\underset{n\to \infty }{\lim }E|X_n-X{|}^r=0$$
   那么$X_n\stackrel{P}{⟶}X$。

2. 如果$X_n\stackrel{P}{⟶}X,X_n\stackrel{P}{⟶}Y$，则$X=Y\text{ a.s.}$。

3. $a_n,b_n$是常数列，如果$a_n\to a,b_n\to b,X_n\stackrel{P}{⟶}X$，则有
   $$a_n{X}_n+b_n\stackrel{P}{⟶}aX+b.$$

4. 如果$X_n\stackrel{P}{⟶}X,Y_n\stackrel{P}{⟶}Y$，那么
   $$\begin{gathered} X_n\pm Y_n\stackrel{P}{⟶}X\pm Y, \\ {X}_n{Y}_n\stackrel{P}{⟶}XY. \end{gathered}$$
   如果进一步地有$Y\ne 0$，还有
   $$\frac{X_n}{Y_n}\stackrel{P}{⟶}\frac{X}{Y}.$$

5. 令$f:\mathbb{R}\to \mathbb{R}$是连续函数，如果$X_n\stackrel{P}{⟶}X$，那么
   $$f(X_n)\stackrel{P}{⟶}f(X).$$

依分布收敛：如果对于$F_X(x)$的每一个连续点$x$，都有$\underset{n\to \infty }{\lim }{F}_n(x)=F_X(x)$，则称$X_n$依分布收敛于$X$，记作$X_n\stackrel{d}{⟶}X$。

相关定理：

6. 列维连续性定理：$X_n\stackrel{d}{⟶}X$当且仅当相应的特征函数收敛，即
   $$\underset{n\to \infty }{\lim }{\varphi }_n(t)={\varphi }_X(t),t\in \mathbb{R}.$$
   如果存在一个函数$\varphi (t)$使得$\underset{n\to \infty }{\lim }{\varphi }_n(t)=\varphi (t)$，并且$\varphi (t)$在$t=0$处连续，那么存在一个随机变量$X$使得${\varphi }_X=\varphi$，并且$X_n\stackrel{d}{⟶}X$。

7. 如果$c$是常数，则$X_n\stackrel{P}{⟶}c\iff X_n\stackrel{d}{⟶}c$。

8. 如果$X_n\stackrel{P}{⟶}X$，那么$X_n\stackrel{d}{⟶}X$。

9. 如果$X_n-Y_n\stackrel{P}{⟶}0$且$X_n\stackrel{d}{⟶}X$，那么$Y_n\stackrel{d}{⟶}X$。

10. 如果$a_n,b_n$是常数列，且$a_n\to a,b_n\to b,X_n\stackrel{d}{⟶}X$，那么
    $$a_n{X}_n+b_n\stackrel{d}{⟶}aX+b.$$

11. 如果$c$是常数，$Y_n\stackrel{P}{⟶}c,X_n\stackrel{d}{⟶}X$，则$X_n{Y}_n\stackrel{d}{⟶}cX$。

12. 令$f:\mathbb{R}\to \mathbb{R}$是连续函数，如果$X_n\stackrel{d}{⟶}X$，那么
    $$f(X_n)\stackrel{d}{⟶}f(X).$$

均方收敛：如果$E{X}^2<\infty ,E{X}_n^2<\infty ,n\ge 1$，且$\underset{n\to \infty }{\lim }E|X_n-X{|}^2=0$，则称$X_n$均方收敛于$X$，记作$X_n\stackrel{L^2}{⟶}X$。

相关定理：

13. 如果$X_n\stackrel{L^2}{⟶}X$，那么$X_n\stackrel{P}{⟶}X$。
14. 如果$X_n\stackrel{L^2}{⟶}X,X_n\stackrel{L^2}{⟶}Y$，则$X=Y\text{ a.s.}$。
15. 如果存在于一个常数$M$使得$|X_n|\le M\text{ a.s.}$，并且$X_n\stackrel{P}{⟶}X$，那么$X_n\stackrel{L^2}{⟶}X$。
16. 如果$X_n\stackrel{L^2}{⟶}X$，那么$E{X}_n\to EX$。

---

接下来是极限定理，假设${\xi }_n$是一系列独立同分布的随机变量，令$S_n={\sum }_{i=1}^n{\xi }_i$。

柯尔莫哥洛夫极限定理表明，当$E|{\xi }_n|<\infty ,E{\xi }_n=\mu$时，有
$$\frac{S_n}{n}\to \mu \text{ a.s.}$$
即样本均值以概率1收敛到总体均值。

林德伯格列维极限定理表明，当$D{\xi }_n={\sigma }^2,E{\xi }_n=\mu$时，有
$$\frac{S_n-n\mu }{\sqrt{n}\sigma }\to N(0,1).$$

3.数学期望收敛定理

单调收敛定理：令$(X_n,n\ge 1)$是一列单调不减非负随机变量，即$0\le X_n\le X_{n+1}\text{ a.s.}$，如果$X_n\to X\text{ a.s.}$，那么$\underset{n\to \infty }{\lim }E{X}_n=EX$；如果$(X_n,n\ge 1)$是一列单调不增非负随机变量，即$0\le X_{n+1}\le X_n\text{ a.s.}$，如果$X_n\to X\text{ a.s.}$且$E{X}_1<\infty$，则也有$\underset{n\to \infty }{\lim }E{X}_n=EX$。

Fatou引理：令$(X_n,n\ge 1)$是一列单调非负随机变量，那么
$$\underset{n\to \infty }{\lim }E{X}_n\ge E(\underset{n\to \infty }{\lim }{X}_n)$$
控制收敛定理：令$(X_n,n\ge 1)$是一列随机变量，假设存在一个随机变量$Y$使得$E|Y|<\infty$，并且$|X_n|\le Y\text{ a.s.}$，如果$X_n\to X\text{ a.s.}$或者$X_n\stackrel{P}{\to }X$，那么
$$\underset{n\to \infty }{\lim }E{X}_n=EX$$