随机过程入门基础

随机过程入门基础

1 基本概念

试验的特性：

• 相同条件下重复进行
• 结果不止一个，事先知道所有样本结果
• 每次试验不知道出现哪个结果

样本空间：试验所有可能出现的结果，记作$\Omega$

$\Omega$中的元素$e$成为样本点或基本事件，$\Omega$的子集$A$称为事件，$\Omega$为必然事件，空集$\varnothing$为不可能事件。如果$A$为$\Omega$的子集，则

• $\Omega$为事件，
• $A$为事件，则$A^c$也为事件
• $A_i(i=1,2,\dots )$为事件，则${\bigcup }_{i=1}^{\infty }{A}_i$为事件

概率：用符号$\mathbb{P}(A)$表示事件$A$的概率，如果满足

• 非负性$\mathbb{P}(A)\ge 0$
• 完备性$\mathbb{P}(\Omega )=1$
• 可加可列性

$$\mathbb{P}(\bigcup _{i=1}^{\infty }{A}_i)=\sum _i^{\infty }\mathbb{P}(A)$$

概率空间：设样本空间$\Omega$，概率$\mathbb{P}$和$\sigma$代数域$\mathcal{F}$，其三位一体$(\Omega ,\mathbb{P},\mathcal{F})$称为概率空间。

其中$\mathcal{F}$表示全体事件，满足（交并补集在$\sigma$代数域满足封闭性）

• 若$A_i\in \mathcal{F}$，则$A^c\in \mathcal{F}$
• $A_i,A_j\in \mathcal{F},\forall i,j$，则$A_i\cap A_j\in \mathcal{F}$
• $A_i,A_j\in \mathcal{F},\forall i,j$，则$A_i\cup A_j\in \mathcal{F}$

其中$\mathbb{P}$表示事件的概率，满足

• $\mathbb{P}(\varnothing )=0$
• $A_i(i=1,2\dots )$两两互不相容时，下列等号成立

$$\mathbb{P}(\bigcup _{i=1}^n{A}_i)\le \sum _i^n\mathbb{P}(A)$$

• 若$B\subset A$，则 $\mathbb{P}(A)-\mathbb{P}(B)=\mathbb{P}(A-B)\ge 0$
• $\mathbb{P}(A\cup B)=\mathbb{P}(A)+\mathbb{P}(B)-\mathbb{P}(A\cap B)$
• $\mathbb{P}(A)>0$，则

$$\mathbb{P}(B|A)=\frac{\mathbb{P}(AB)}{\mathbb{P}(A)}$$

乘法公式：
$$\mathbb{P}(B_1{B}_2\dots B_n)=\mathbb{P}(B_1)\mathbb{P}(B_2|B_1)\dots \mathbb{P}(B_n|B_{n-1}\dots B_1)$$
当$\mathbb{P}(A)\ge 0$时，条件概率
$$\mathbb{P}(B_1{B}_2\dots B_n|A)=\mathbb{P}(B_1|A)\mathbb{P}(B_2|B_{1}A)\dots \mathbb{P}(B_n|B_{n-1}\dots B_{1}A)$$
全概率公式

设$A_i(i=1,2\dots )$互不相容，当$B\subset {\bigcup }_{i=1}^{\infty }{A}_i$且${\bigcup }_{i=1}^{\infty }{A}_i=\Omega$时
$$\mathbb{P}(B)=\sum _{i=1}^{\infty }\mathbb{P}(B{A}_i)=\sum _{i=1}^{\infty }\mathbb{P}(B|A_i)\mathbb{P}(A_i)$$
当$\mathbb{P}(A)\ge 0$时，条件概率
$$\mathbb{P}(B)=\sum _{i=1}^{\infty }\mathbb{P}(B{A}_i|A)=\sum _{i=1}^{\infty }\mathbb{P}(B|A_{i}A)\mathbb{P}(A_{i}A)$$
贝叶斯公式
$$\mathbb{P}(A|B)=\frac{\mathbb{P}(B|A)\mathbb{P}(A)}{\mathbb{P}(B)}$$
设$A_i(i=1,2\dots )$互不相容，当$B\subset {\bigcup }_{i=1}^{\infty }{A}_i$且${\bigcup }_{i=1}^{\infty }{A}_i=\Omega$时
$$\mathbb{P}(A_i|B)=\frac{\mathbb{P}(B|A_i)\mathbb{P}(A_i)}{{\sum }_{k=1}^{\infty }\mathbb{P}(B|A_k)\mathbb{P}(A_k)}$$
概率连续性：
$$\{\begin{array}{lc}\mathbb{P}({\bigcup }_{i=1}^n{A}_i)=\underset{\text{n}\to \infty }{\lim }\mathbb{P}(A_n)& A_1\subset A_2\subset \dots \\ & \\ \mathbb{P}({\bigcap }_{i=1}^n{B}_i)=\underset{\text{n}\to \infty }{\lim }\mathbb{P}(B_n)& B_1\supset B_2\supset \dots \end{array}$$

---

2 随机变量

2.1 一维情形

随机变量是定义在样本空间$\Omega$上的函数
$$F_X(t)=\mathbb{P}(X\le t)$$
为$X$分布函数，且单调不减右连续，对于连续型随机变量，
$$F_X(t)=\mathbb{P}(X\le t)={\int }_{-\infty }^{t}f(s)ds$$
其中$f(s)$为随机变量$X$的概率密度函数，设$x\in A$，则
$$\mathbb{P}(X\in A)={\int }_{A}f(s)ds$$

2.2 多维情形

设$x_i(i=1,\dots n)$为随机变量，则$X=(x_1,x_2,\dots x_n)$称为随机向量。定义在函数$R^n$上的$n$元函数
$$F_X(x_1,x_2,\dots x_n)=\mathbb{P}(X_1\le x_1,X_2\le x_2\dots X_n\le x_n)$$
称为随机向量$X=(x_1,x_2,\dots x_n)$上的分布函数。对于连续型随机向量$X$,
$$\mathbb{P}(X\in D)={\int }_{D}f(X)d{x}_{1}d{x}_2\dots d{x}_n$$
其中$f(X)=f(x_1,x_2,\dots x_n)$是随机向量$X$的联合概率密度函数，$D$为定义在$R^n$上的区域

---

2 随机过程

2.1 随机过程定义

设$(\Omega ,\mathbb{P},\mathcal{F})$为概率空间，$T$为参数集，对于$\forall t\in T$,均有定义在概率空间上的一个随机变量$X_t(\omega ),\omega \in \Omega$与之相对应，则称 { X t : t ∈ T } \{X_t:t\in T\} {Xt​:t∈T}为概率空间$(\Omega ,\mathbb{P},\mathcal{F})$上的随机过程。

注：$t$一般指事件，参数集$T$为事件参数；$X_t$视为过程在时刻$t$的状态，$X_t$的取值范围为状态空间$S$

对于随机过程$X_t(\omega )$包括时间与状态两个维度

• 当固定状态$\omega$时，$X_t$称为样本函数或轨迹，或随机过程的一次实现
• 当固定事件$t$时，$X(\omega )$称为一个随机变量

所有样本函数与随机变量的集合称为随机过程，即随机过程是所有随机样本函数的集合

2.2 随机变量期望

离散型

设$X$的离散概率分布如下：
$$p_i=\mathbb{P}(X=x_i),i=1,2\dots$$
则
$$\mathbb{E}X=\sum _{i=1}^{\infty }{x}_i{p}_i⟺\sum _{k=1}^{\infty }\mathbb{P}(X\ge k)$$
proof：

$$\begin{array}{rl}\sum _{k=1}^{\infty }\mathbb{P}(X\ge k)=& \sum _{k=1}^{\infty }\sum _{i=k}^{\infty }\mathbb{P}(X=i)\\ & \\ =& \sum _{i=1}^{\infty }\sum _{k=1}^i\mathbb{P}(X=i)\\ & \\ =& \sum _{i=1}^{\infty }i\mathbb{P}(X=i)=\mathbb{E}X\end{array}$$

二阶原点矩
$$\mathbb{E}{X}^2=\sum _{i=1}^{\infty }{x}_i^2{p}_i$$
连续型：

设$X$为密度函数$f(x)$的随机变量，即
$$\mathbb{P}(X\le a)={\int }_{-\infty }^{a}f(x)dx$$
期望为
$$\mathbb{E}X={\int }_{-\infty }^{\infty }xf(x)dx$$
二阶原点矩为
$$\mathbb{E}{X}^2={\int }_{-\infty }^{\infty }{x}^{2}f(x)dx$$

2.3 卷积公式

离散型

设随机变量$X,Y$相互独立，满足
$$\mathbb{P}(X=k)=a_k;\mathbb{P}(Y=k)=b_k;k=0,1\dots$$
则$Z=X+Y=n(n\ge 0)$的概率为
$$\begin{array}{rl}\mathbb{P}(Z=n)=& \mathbb{P}(X+Y=n)\\ & \\ =& \sum _{i=0}^n\mathbb{P}(X=i,Y=n-i)\\ =& \sum _{i=0}^n\mathbb{P}(X=i)\mathbb{P}(Y=n-i)\\ =& \sum _{i=0}^n{a}_i{b}_{n-i}\end{array}$$
令$\mathbb{P}(Z=n)=c_n$，则
$$c_n=\sum _{i=0}^n{a}_i{b}_{n-i}$$
称序列 { c n } \{c_n\} {cn​}为卷积

连续型：

设$X$,$Y$独立，分布函数分别为$F(X),F(Y)$,令$U=X+Y$，$U$的分布函数为
$$\begin{array}{rl}U(t)=& \mathbb{P}(X+Y\le t)\\ & \\ =& \sum _{0\le s\le t}\mathbb{P}(X+Y\le t|Y=s)\mathbb{P}(Y=s)\\ & \\ =& {\int }_0^t\mathbb{P}(X\le t-s)dG(s)\\ & \\ =& {\int }_0^{t}F(t-s)dG(s)\end{array}$$
易得
$$U(t)={\int }_0^{t}F(t-s)dG(s)={\int }_0^{t}G(t-s)dF(s)$$
两个随机变量$X,Y$独立，概率密度分别为$f(x)、g(y)$,则$U=X+Y$的概率密度为
$$\begin{array}{r}u(t)={\int }_0^{t}f(t-s)g(s)=(f\ast g)(s)\\ \\ u(t)={\int }_0^{t}g(t-s)f(s)=(g\ast f)(s)\end{array}$$
故交换律
$$(f\ast g)(s)=(g\ast f)(s)$$
成立。

---

3 概率母函数

定义概率母函数(generating funtion)
$$G_X(s)=\mathbb{E}{s}^x=\sum _{k=0}^{\infty }{s}^k\mathbb{P}(x=k),s\in [-1,1]$$
对于$G_X(s)$对$s$求一阶导
$$G_X^{\prime }(s)=\mathbb{E}(x{s}^{x-1})=\sum _{k=0}^{\infty }k{s}^{k-1}\mathbb{P}(x=k)$$
对于$G_X(s)$对$s$求二阶导
$$G_X^{\prime \prime }(s)=\mathbb{E}(x(x-1)s^{x-2})=\sum _{k=0}^{\infty }k(k-1)s^{k-2}\mathbb{P}(x=k)$$
令$s=1$,
$$G_X^{\prime }(1)=\sum _{k=0}^{\infty }k\mathbb{P}(x=k)=\mathbb{E}X$$

$$G_X^{\prime \prime }(1)=\sum _{k=0}^{\infty }k(k-1)\mathbb{P}(x=k)=\mathbb{E}X(X-1)=\mathbb{E}{X}^2-\mathbb{E}X$$

于是得到

• $G_X^{\prime }(1)=\mathbb{E}X$
• $\mathbb{E}{X}^2=G_X^{\prime \prime }(1)+G_X^{\prime }(1)$
• $Var(X)=\mathbb{E}{X}^2-(\mathbb{E}X{)}^2=G_X^{\prime \prime }(1)+G_X^{\prime }(1)-[G_X^{\prime }(1){]}^2$

---

4 矩母函数

设任意概率密度函数$f(x)$的随机变量为$X$,其矩母函数构造如下
$$M_X(t)=\mathbb{E}(e^{tx})={\int }_{-\infty }^{\infty }{e}^{tx}f(x)dx$$
根据级数相关知识
$$e^x=\sum _{k=0}^{\infty }\frac{x^k}{k!}$$
则
$$\begin{array}{rl}{M}_X(t)=& {\int }_{-\infty }^{\infty }{e}^{tx}f(x)dx\\ & \\ =& {\int }_{-\infty }^{\infty }\sum _{k=0}^{\infty }\frac{(tx{)}^k}{k!}f(x)dx\\ & \\ =& \sum _{k=0}^{\infty }\frac{t^k}{k!}{\int }_{-\infty }^{\infty }{x}^{k}f(x)dx\\ & \\ =& \sum _{k=0}^{\infty }\frac{t^k}{k!}\mathbb{E}{X}^k\\ =& 1+t\mathbb{E}X+\frac{t^2}{2!}\mathbb{E}{X}^2+\cdots +\frac{t^k}{k!}\mathbb{E}{X}^k+\dots \end{array}$$
因此，矩母函数包含了随机变量$X$各阶中心矩$\mathbb{E}{X}^n(n=1,2\dots )$，矩母函数大大简化了求分布函数的矩的复杂性。对$M_X(t)={\int }_{-\infty }^{\infty }{e}^{tx}f(x)dx$关于$t$求导，得
$$\{\begin{array}{l}\frac{d{M}_X(t)}{dt}={\int }_{-\infty }^{\infty }{e}^{tx}xf(x)dx\\ \\ \frac{d{M}_X^2(t)}{d{t}^2}={\int }_{-\infty }^{\infty }{e}^{tx}{x}^{2}f(x)dx\\ \\ ⋮\\ \frac{d{M}_X^n(t)}{d{t}^n}={\int }_{-\infty }^{\infty }{e}^{tx}{x}^{n}f(x)dx\end{array}$$
令$t=0$则
$$\{\begin{array}{l}\frac{d{M}_X(t)}{dt}{|}_{t=0}={\int }_{-\infty }^{\infty }xf(x)dx=\mathbb{E}X\\ \\ \frac{d{M}_X^2(t)}{d{t}^2}{|}_{t=0}={\int }_{-\infty }^{\infty }{x}^{2}f(x)dx=\mathbb{E}{X}^2\\ \\ ⋮\\ \frac{d{M}_X^n(t)}{d{t}^n}{|}_{t=0}={\int }_{-\infty }^{\infty }{x}^{n}f(x)dx=\mathbb{E}{X}^n\end{array}$$

5 特征函数

矩母函数局限性：由于中心距要求矩目函数的导数在$t=0$处取值，故前提假定矩目函数导数在$t=0$处有定义。但对于一些特殊概率密度函数（Gamma函数等）不再适用。为了使矩母函数具有普遍性，引入特征函数
$${\varphi }_X(t)=\mathbb{E}(e^{itx}),i^2=-1$$
对于分布函数，都存在一个特征函数与其相互决定。当得到随机变量$X$的特征函数表达式${\varphi }_X(t)$时利用傅里叶变换可以反推出概率密度函数，傅里叶变换为

$$f(x)={\int }_{-\infty }^{\infty }{e}^{-itx}{\varphi }_X(t)dt$$

---

-END-

参考文献：

刘次华 . 随机过程(第五版) [M]. 华中科技大学出版社,2014