随机过程

（一）简介；

1.随机过程X（t）的任意n个彼此不同的时刻的联合分布如下：

所有这样的有限维分布函数构成的集合就叫做随机过程的有限维分布族；

PS：随机过程可以理解为随机变量在时间维度上的扩充，即由X到X（t），也就是一维（统计维度）扩展到二维（统计维度+时间维度）；

2.随机过程的数字特征：

（1）数学期望函数

（2）自相关函数

（3）自协方差函数

PS：

（1）数学期望函数可以理解为随机过程的一维分布（统计维度上），其可能与时间维度有关也可能无关；

          自相关函数以及自协方差函数可以理解为随机过程的二维分布；

（2）自协方差函数与自相关函数以及期望函数之间的关系：

（3）若数学期望函数，自相关函数与协方差函数都存在，我们称该随机过程为二阶矩过程；

3.随机过程的平稳性

（1）严平稳随机过程：统计特性不随时间变化，也就是有限维分布函数是不变的：

（2）宽平稳随机过程：假设X（t）是二阶矩过程，其期望函数为常数，自相关函数只与时间间隔 t 有关，那么称X（t）为宽平稳过程；

PS：

（1）平稳随机过程的前提是二阶矩过程；

（2）平稳随机过程可以理解为其一维分布与时间无关，二维分布与时间间隔有关，与时间起止点无关；

4.随机过程的各态历经性（遍历性）

（1）定义：若平稳随机过程的统计维度上的数字特征都可以由时间维度上的数字特征来替代，则称该随机过程具有各态历经性；

（2）意义：用时间数字特征来计算统计数字特征，使实际测量与计算大大简化；

（3）判断：时间均值以及时间自相关函数等于统计均值以及统计自相关函数，其中时间均值以及时间自相关函数定义如下：

PS：

（1）各态历经性的前提必须是平稳随机过程；

（2）理解各态历经性：其实就是将统计维度上的采样转换到时间维度上的采样；

 （二）泊松过程

1.独立增量性与平稳增量性

（1）独立增量性：随机过程N（t）的增量N（t）-N（s）彼此之间相互独立；

（2）平稳增量性：随机过程N（t）的增量N（t）-N（s）只与s  - t 的大小有关，与s ，t  的具体取值无关，也就是与时间起止点无关；

PS：这里所指的增量在时间次序上无重叠；

2.计数过程：当满足以下条件时，称{N（t），t 〉=0}为计数过程，表示到时刻 t 为止，已发生的事件A的总数；

（1）N（t）为非负整数且N（0）=0；

（2）若s〈t，则N（s）〈= N（t）；

3.泊松过程：当满足以下条件时，称计数过程{X（t），t 〉=0}为泊松过程；

（1）X（t）具有平稳独立增量性；

（2）在任一时间长度为 t 的区间内，事件A发生的次数服从泊松分布：

4.时间间隔的分布：第n-1次事件发生都第n次之间的时间长度的概率分布

5.等待时间的分布：第n次事件发生的时刻的概率分布

PS：若已知到时刻T发生了n次事件，那么这n次事件的等待时间S1，....，Sn独立等同分布，服从于均匀分布U（0，T）；

6.剩余寿命的分布：时刻 t 距离下一次事件发生的时间长度的分布

7.年龄的分布：时刻 t 距离上一次事件发生的时间长度的分布

（三）马尔科夫过程

1.定义：在已知它目前的状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）；这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔科夫性，具有这种性质的随机过程叫做马尔科夫过程（无记忆性，无后效性）；

2.马尔科夫链是一类特殊的马尔科夫过程，特指系统所处的状态个数是可数的；因状态个数可数，因此可以用初等概率中的条件概率和乘法公式以及全概率公式等基本工具就可以对过程的统计特性进行描述；

3.马尔科夫链根据时间上的连续与否分为：离散时间马尔科夫链，连续时间马尔科夫链；

（四）离散时间马尔科夫链

1.简介

（1）定义：

（2）转移概率：

一步转移概率：

n步转移概率：

（3）C-K方程：

（4）绝对概率：

（5）有限维分布：

2.n步转移概率矩阵与一步转移概率矩阵的转换：

3.状态分类与空间分解

（1）常返性：从状态 i 出发，在有限步内一定返回状态 i ，则称状态 i 具有常返性；

          1）正常返：平均返回时间有限；

          2）零常返：平均返回时间无限；

PS：若马尔科夫链x不可约且状态有限，则x的每个状态都常返且为正常返的；

（2）周期性：指的是从状态 i 出发到返回状态 i 的步数具有周期性； 

（3）闭集：

4.遍历性

（1）极限分布（时间平均）

（2）平稳分布（空间平均）

 PS：当极限分布等于平稳分布时，称该过程是遍历的；

（3）两种分布的计算（分情况讨论）：

1）不可约，非周期，正常返的：平稳分布由定义直接求，极限分布等于平稳分布；

2）不可约，非周期，非常返（零常返）的：平稳分布不存在，极限分布为0；

3）不可约，周期：平稳分布由定义直接求，极限分布不存在；

4）可约的：直接分解状态空间，各个子集按照不可约的情形进行求解，最后再进行线性组合；

（五）连续时间马尔科夫链

1.简介

（1）定义：

（2）转移概率函数：

PS：对于齐时马尔科夫链，也就是转移概率函数只与时间间隔有关，其转移概率函数如下：

（3）C-K方程：

（4）绝对概率：

（5）有限维分布：

2.转移概率函数的求解

（1）将转移概率矩阵函数表示如下：

（2）判断是否满足正则性条件：

（3）当满足正则性条件时，Q的求解如下：

（4）列出前进或者后退方程，解微积分方程求出P（t）：

PS：

（1）Q称为转移速率矩阵，具有以下性质：

（2）qij 表示从状态i到状态j的转移速率；qi 表示离开状态i的强度；

（3）在判断是否满足正则性条件以及求解Q时需要的不是P（t）而是当 t 趋向于0时候的转移概率矩阵；

3.状态分类与空间分解

（1）连续时间马尔科夫链的常返，正常返，零常返，闭集，可约的概念与离散时间的一样；

（2）连续时间马尔科夫链是非周期的；

（3）马尔科夫链x的嵌入链如下：

其中：

其转移概率为：

（4）嵌入链y与x具有相同的常返性和状态之间的互通性，因此x的状态分类（常返性）和空间分解（可约性）都归结为其嵌入链y这一离散时间马尔科夫链的状态分类和空间分解问题；

4.遍历性

（1）平稳分布：

（2）极限分布：直接对转移概率矩阵中的 t 趋向于无穷即可得；

（3）若平稳分布等于极限分布，则说明该马尔科夫链是遍历的；