常见随机过程（一）（备份草稿）

前言 本文以笔者《随机过程及应用》期末复习为契机，为日后科研进行的一次知识储备。力求罗列一个框架清晰、结构严谨、要点突出的大纲，方便日后“即用即查“。此外，本文还力求结合实际应用，帮助深入理解常见的几类随机过程。
对于本文的结构，笔者对每一部分按照基本的数学逻辑进行组织，系统地储备相关知识点。此外，笔者还将平时作业和书上例题进行了类型整理，将其按照问题设置以及解决思路进行归类，便于日后科研中遇到类似问题时能够快速准确地从知识网络中抽取出相关的图景。
有一点需特别强调：本文注重对知识的深刻理解，因此会大量参考各路大神对有助于认识和理解随机过程“细枝末节”的精彩回答，同时本文也还会结合笔者在学习过程中踩过的“坑”来作为特别说明。
由于 知乎长文编辑极卡，因此将内容拆分成两个部分，前四章在本文中详细道来，后面内容请读者参见《常见随机过程》（二）
目录
一. 正态过程（高斯过程）
1.1 判别； 1.2 数字特征；1.3 定理
二. 泊松过程
2.1 齐次泊松过程
2.1.1 判别； 2.1.2 数字特征； 2.1.3 性质； 2.1.4 定理
2.2 非齐次泊松过程
2.2.1 判别； 2.2.2 数字特征
2.3 复合泊松过程
2.3.1 判别； 2.3.2 数字特征
2.4 更新计数过程
2.4.1 判别； 2.4.2 性质； 2.4.3 定理
三. 维纳过程
3.1 判别； 3.2 数字特征； 3.3 性质； 3.4 定理
四. 马尔可夫过程
4.1 离散马尔可夫过程
4.1.1 判别； 4.1.2 数字特征
4.2 齐次马尔可夫过程
4.2.1 判别； 4.2.2 数字特征； 4.2.3 状态分类定理； 4.2.4 状态分解定理 ；
4.2.5 遍历性和平稳性
4.3 连续参数马尔可夫过程
4.3.1 判别； 4.3.2 数字特征； 4.3.3 定理
五. 平稳过程
5.1 判别；5.2 数字特征； 5.3 定理； 5.4 谱密度
六. 附录.
6.1 均方微积分
一. 正态过程（高斯过程）
人们常常将噪声、误差视为正态变量，因为它们受到大量独立的、均匀微小的随机因素的叠加影响，利用中心极限定理可知它们近似服从正态分布（回想《高等统计物理学》5：非平衡态统计物理初步中证明中心极限定理时所构造的 f_Y(y_N-\langle X \rangle) ，它的含义即为此）。
正态过程是有限维正态随机向量概念的推广，有限维正态随机向量的相关知识参考教材P 31-36页。
（1）对于 c_{ij} 的计算， 类比 \begin{aligned} \operatorname{Var}(X_i)&=E[(X_i-E(X_i))^2]=E[X_i2-2X_iE[X_i]+E^{2[X_i]]\&=E[X_i}2]-2E[X_iE[X_i]]+E[E^2[X_i]]\ &=E[X_i^{2]-2E[X_i]E[X_i]+E}2[X_i]\ &=E[X_i^2]-E2[X_i] \end{aligned}
同样可以得到 c_{ij}=E[(X_i- \mu_i)(X_j-\mu_j)]=E[X_i X_j]-E[X_i]E[X_j]。
（2）教材P31的二维协方差矩阵写为 \begin{pmatrix} \sigma_1^2&\rho\sigma_1\sigma_2\ \rho\sigma_1\sigma_2&\sigma_2^2 \end{pmatrix} 是因为 Cov(X_1,X_2)=\sqrt{\sigma_1\sigma_2} ，而皮尔逊相关系数公式有 \rho(X_1,X_2)=\frac{Cov(X_1,X_2)}{\sqrt{Var(X_1)}\sqrt{Var(X_2)}} ，因此代入后能很容易得到上述形式。
对于正态过程，它的任意有限维分布函数族是正态分布函数族。
1.1 判别
（1）定义判别
给定随机过程 {X(t),t \in T} ，若对任意的正整数 n\geq 1 及任意的 t_1,t_2,…,t_n \in T ，随机变量 X_{t_1},X_{t_2},…,X_{t_n} 的联合分布是 n 维正态分布，即 \begin{aligned}f_{t_1,t_2,…,t_n}(x_1,x_2,…,x_n)=\frac{1}{(2 \pi)^{\frac{n}{2}(\det,C)}\frac{1}{2}} \exp{-\frac{1}{2}(X-\mu)^T C^{-1}(X-\mu)}\end{aligned} ，则称{X(t),t \in T} 是正态过程。( 理解：比如研究接收器在连续时间内接受到的信号强度变化情况。因为我们知道肯定是存在误差的，不仅表现在同一实验各时刻的强度不同，还表现在同一时刻但不同实验下强度不同（即我们先用接收器接收，得到一段强度序列，过一会儿再用它接受，得到的可能又是另外一段强度序列了，因为误差不仅不会让一段强度序列中各值相等，而且也不会让不同的强度序列变换情况全一样）。所以我们从全局视角来看，选择一些时刻，不同实验会接收到一段不同的信号强度序列，而每一段不同的信号强度序列在随机过程（即很多次实验里）会有一定的出现频次，将这些选取的时刻及其出现的不同信号强度序列和出现频数进行统计，得到的结果为正态分布，要注意，对于任何选取的时刻 都成立( 实则类比了定理：n维正态分布随机向量的任一子向量也服从正态分布，即多维正态分布的边缘分布还是正态分布)
其中\mu=(m(t_1),m(t_2),…,m(t_n))^T,m(t)=E(X_t),
C=(c_{ij}),c_{ij}=C(t_i,t_j)=Cov(X_{t_i},X_{t_j}),i,j=1,2,…,n 。
注意这里的概率密度公式里将均值和协方差换成了均值函数和协方差函数。
n 维正态分布的特征函数为 \varphi_{t_1,t_2,…,t_n}(u)=\exp{j \mu^T u-\frac{1}{2}u^T C u} 。
其中 u=(u_1,u_2,…,u_n)^T （注意这里 u 和 \mu 的区别，不要混淆了，\mu才是均值函数），因此它也可以作为定义判别中的一个形式。
（2）充要条件判别
直接用定义判别是比较困难的，因此我们常用以下充要条件准则进行判别：{X_t,t \in T} 为正态过程的充要条件是 X( t_1) , X(t_2) ,…,X(t_n) 的任意非零线性组合 \sum_i \lambda_i X_{t_i} 为一维正态分布。（如果已知某过程为正态过程，那么也要能够想到此线性组合的存在，正态过程的可加性证明正是用到了这一点）
例题：第3次作业的第1题、第3题、第11题(1)
第1题：(a)注意 D(A-costB)=D(A)+cos^2tD(B) ; (b) 用到一个结论：若 X \sim N(0,\sigma^2) ，E[X^2]=\sigma2 ，证明见第1次作业的第8题；© 算特征函数时，直接用上面定义中给出的公式，不要再去傅立叶变换求积分了; © 求正态过程的协方差矩阵和求正态分布的协方差矩阵各有各的公式，不要张冠李戴了，且这里求逆矩阵时，主对角线元素交换，其余元素取各自的相反数，似曾相识。
第3题：
第11题(1)：使用维纳过程的性质，也是从线性组合出发。
1.2 数字特征
若 {X(t),t\geq0} 是具有零均值和协方差 C(s,t) 的正态过程, 则对于任意的非负数 s,t 和 \tau ,有如下性质：
（1） E[X^2(t)]=C(t,t)=D(t) ;
（2） D[X^2(t)]=2C2(t,t)=2D^2(t) ;
（3）\operatorname{Cov}(X^2(s),X2(t))=2C^2(s,t) ;
（4） E[X(t)X(t+\tau)]=C(t,t+\tau) ;
（5） D[X(t)X(t+\tau)]=C(t,t)C(t+\tau,t+\tau)+C^2(t,t+\tau) ;
（6）\begin{aligned} &\operatorname{Cov}[X(s)X(s+\tau),X(t)X(t+\tau)]\&=C(s,t)C(s+\tau,t+\tau)+C(s,t+\tau)C(s+\tau,t) \end{aligned}。
（上述结论中(2)和(3)、(5)和(6)可以配套的！）
一定要注意这些性质的前提条件，即零均值，这是一个特殊的情况。
证明：第3次作业的第6题
第6题：(a) 写法上要注意， \operatorname{Cov}(X^2(s),X2(t)) 和C(s,t)其实是等价的，和均值函数的写法一样；（b)性质(2)(6)的证明难一些；©多次用到 E[X^2(s)X2(t)]-E[X^2(s)]E[X2(t)]=2E^2[X(s)X(t)]这个代换，性质(3)(5)，反正凡遇到 E[X^2(s)X2(t)] ，则用这个公式来拆！
1.3 定理
（1）正态过程为独立过程的充要条件为 C(s,t)=0(s \neq t) ；
例题：第3次作业的第4题
第4题：不要一开始误入歧途去分范围讨论自相关函数的结果，要证相互独立（他俩为正态过程是显而易见的），转换为m+n维联合分布（注意两个下标不能相同），其中又用到了正态过程导出其分布特点的定义！
（2）正态过程具有可加性；
证明：第3次作业的第2题
第2题：这里要首先知道 \begin{aligned} \varphi_{t_1,t_2,…,t_n}(u_1,u_2,…,u_n)&=E[{e^{{j(u_1X_{t_1}+u_2X_{t_2}+…+u_nX_{t_n})}}]\&=e}{j\mu^{Tu-\frac{1}{2}u}TCu}\&=\varphi_{t_1,t_2,…,t_n}(u) \end{aligned} ，然后就可以迎刃而解了，这个转换是之前一直忽略了的！此外，这道题答案用的定义证明，由正态过程得正态分布，再得正态过程（注意独立性！）
（3）正态过程是二阶矩过程，其有穷维分布由 m(t) 及其协方差确定。
例题：第5次作业的第1题
第1题：
二. 泊松过程
泊松过程用于研究随机点过程按时间顺序出现的情况。客观世界中，存在这样一类随机现象，它们发生的时间、地点或者相联系的某些属性，常常可以归属于某空间中点的随机发生，这种点就构成了随机点过程（早期称之为随机事件流）。比如：用盖格计数器来记录某类例子的到达、电话交换机接到的呼叫事件、通信系统运行中出现的误码、细胞中染色体发生的交换、航空公司接收到的托运订单等等，以上问题共同特点是关心某个事件 A ，如“到达”、“误码”、“交换”、“接受订单”等按时间顺序出现的情况。
实例：教材P46页。下面这个例子可以理解泊松过程研究的是什么，以及进一步理解随机过程：一天中某电话交换台接收到的呼叫形成一个随机点过程。每一次呼叫发生的时间就是一个随机点，这个点过程的一条现实（即样本函数）是一个时间的序列。（在研究的时候，貌似往往是以“时间段”为分析对象，而非“时刻”）
2.1 齐次泊松过程
2.1.1 判别
计数过程 {N(t),t\geq0} 是参数为 \lambda 的齐次泊松过程，当且仅当满足下列条件：(a) N(0)=0; (b) 具有独立增量；© 对任意 0\leq s <t, 随机变量 N(t)-N(s) 服从参数为 \lambda(t-s) 的泊松分布:P{N(t)-N(s)=k}=\frac{[\lambda(t-s)]^k}{k!}e</