随机过程总结(5)--Markov过程与高斯过程

此方家的空腹

已于 2022-01-28 12:01:35 修改

阅读量1.4k

点赞数

分类专栏：机器学习文章标签：其他概率论

于 2022-01-27 17:46:34 首次发布

本文链接：https://blog.csdn.net/qq_42138454/article/details/122721551

版权

机器学习专栏收录该内容

16 篇文章 5 订阅

订阅专栏

本文简单总结下Markov过程与高斯过程

Markov过程

基本定义

markov性：下一状态只与当前状态有关。
一步转移概率: $p_{i j}(n)=P(X(n+1)=j \mid X(n)=i), P(n)$ ，注意 $p_{i j}(n) \geq 0$ 且对求和是 1 。
齐次马氏链: $p_{i j}(n)=p_{i j}, P(n)=P$
初始分布: $\pi_{i}(0)=P\left(X_{0}=i\right)$ ，知道 $\pi_{i}(0)$ 和 $P (n)$ 就可以知道这条马链的所有性质了，包, 括任意维的联合分布。

齐次马氏链

齐次马氏链，指的是其一步转移概率矩阵与启始时间无关。

"齐次"指的意思是参数不时变/。对于泊松过程，指的是其"跳跃强度"不变；对Markov链，意思是其一次转移概率矩阵不时变

C-K方程: $p_{i j}^{m+n}=\Sigma_{k \in S} p_{i k}^{m} p_{k j}^{n}$ ，也即 $P^{m+n}=P^{m} P^{n}$
到达和相通: 状态性质相同，具有传递性。
首达时间: $T_{i j}$
首达概率: $f_{i j}^{(n)}=P\left(T_{i j}=n \mid X_{0}=i\right)$ ，即经过n步第一次从到达的概率。记 $f_{i j}=$ $\Sigma_{n=1}^{\infty} f_{i j}^{(n)}=P\left(T_{i j}<\infty\right)$ ，表示从出发经过有限步迟早可以到达的概率。
$\leq f_{i j}^{(n)} \leq p_{i j}^{(n)} \leq f_{i j} \leq 1$
$p_{i j}^{(n)}=\sum_{l=1}^{n} f_{i j}^{(l)} p_{j j}^{(n-l)}$
平均转移时间: $\mu_{i j}=E\left(T_{i j} \mid X_{0}=i\right)=\Sigma_{n=1}^{\infty} n f_{i j}^{(n)}$
状态分类： $\cup C_{1} \cup C_{2} \cdots$ (唯一分解)
常返态C: $f_{i i}=1$ ，访问次数无限，所有常返态构成一个闭集。
正常返态: $\mu_{i i}<\infty$ 。有限状态的马誰中常返就一定正常返。
遍历态: 无周期。(周期性是对于正常返态来说的)
零常返态: $\mu_{i i}=\infty$ 。零常返状态只会出现在状态无限的马信连中，有限状态的马氏链中不可能所有状态都是非常返的，也不可能出现零常返状态。
非常返态 $D: f_{i i}<1$ ，在过程中访问次数是有限的，也就是极限时访问概率时 0 。
齐次马伯链不可约 $\Longleftrightarrow$ 任意两个状态均互通，所有状态性质相同。
不可约+非周期+有限状态的马化链是遍历链。

高斯过程

正态分布

n维正态分布 $\vec{X} \sim N(\vec{\mu}, \Sigma)$
$f(\vec{x})=\frac{1}{(2 \pi)^{n / 2}(\operatorname{det} \Sigma)^{1 / 2}} e^{-\frac{1}{2}(\vec{x}-\vec{\mu})^{I} \Sigma^{-1}(\vec{x}-\vec{\mu})}$
对正态来说: 独立 $\Longleftrightarrow$ 不相关。所以可以从协方差矩阵来判断正态分布的随机变量是不是独立。
正态随机变量线性变换后依旧是正态。
$\vec{Y}=C \vec{X} \Longrightarrow Y \sim N\left(C \vec{\mu}, C \Sigma C^{T}\right)$
$n$ 维正态 $\Longrightarrow$ 每个分量都是正态的
每个分量都是正态的且相互独立 $\Longrightarrow n$ 维正态
对于联合高斯分布，这个计算四阶矩的公式非常有用:
$E\left(X_{1} X_{2} X_{3} X_{4}\right)=E\left(X_{1} X_{2}\right) E\left(X_{3} X_{4}\right)+E\left(X_{1} X_{3}\right) E\left(X_{2} X_{4}\right)+E\left(X_{1} X_{4}\right) E\left(X_{2} X_{3}\right)-2 E\left(X_{1}\right) E\left(X_{2}\right) E\left(X_{3}\right) E\left(X_{4}\right)$
有时二维联合正态分布还会这样表示: $N\left(\mu_{1}, \mu_{2}, \rho, \sigma_{1}^{2}, \sigma_{2}^{2}\right)$

$\text { 也就是 } \vec{\mu}=\left(\begin{array}{l} \mu_{1} \\ \mu_{2} \end{array}\right), \Sigma=\left(\begin{array}{cc} \sigma_{1}^{2} & \rho \sigma_{1} \sigma_{2} \\ \rho \sigma_{1} \sigma_{2} & \sigma_{2}^{2} \end{array}\right)$

高斯过程

定义: 随机过程 $\xi(t)$ 的任意有限维分布都是正态分布。
正态过程是二阶矩过程。
对于正态过程来说，宽平稳和严平稳是等价的。
如果正态过程是均方可导的，那它的导数过程也是正态过程。
如果正态过程是均方可积的，那它的积分过程也是正态过程。
均值为零的实正态过程具有马氏性 $\Longleftrightarrow$ 对于任意三个时刻 $\leq t_{1}<t_{2}<t_{3}$ 有， $\rho\left(t_{1}, t_{3}\right)=\rho\left(t_{1}, t_{2}\right) \rho\left(t_{2}, t_{3}\right)$
其中 $\rho(s, t)=\frac{R(s, t)}{\sqrt{R(s, s) R(t, t)}}$ ，也就是 $\mathrm{s}$ 和时刻的相关系数。