随机过程之马尔科夫链

一 随机过程Stochastic process

随机过程：存在一个过程 { X n , n > 0 } \left \{ X_{n},n> 0 \right \} {Xn​,n>0}，对于任意时刻$n$而言，$X_n$是一个随机变量，则称该过程为一个随机过程。

简而言之，就是一个时刻，一个随机变量。

二 离散时间马尔科夫建模

马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），简称为DTMC。

随机过程，状态空间是离散的，时间是离散的（一次一次；一分钟一分钟；一天又一天等）。

在DTMC中，本次状态仅仅由前一状态所影响，与之前的状态无关（也就是说，先前的活动通过作用于前一状态而影响本次状态）。这一性质叫做马尔可夫性。

需要界定几个概念：
1.状态空间：随机过程中随机变量能够取到的值，所组成的样本空间。

2.转移概率：在不同时刻，从某一状态转移到另一状态的概率值。与时刻有关。

$p_{ij}\left(n\right)$：在时刻n，从状态$i$转移到状态$j$的概率。

那么把所有时刻的写出来，就会有一个状态转移矩阵。

注：若DTMC不依赖于时间，即状态转移概率与时刻t无关，那么称为齐次homogenuous 的DTMC。即有：
且有：概率转移矩阵，从本状态转移到下一状态的所有可能性为1。

注意：写状态转移概率时，两端要特别当心，中间的基本一样，只和下标有关，两端要当心。

3.稳态时：每种状态的概率变成了一个稳定的值，也就是收敛了，与时刻无关。只与转移概率矩阵$P$有关，与初始概率$\pi (0)$的分布无关。>>>也是说，只要定义了转移概率，模型就已经确定下来了，与初始状态是什么样的并没有关系。

通常用$\pi$来表示，即只跟本状态$j$有关，与前一状态$i$无关了。

具体例子可看: 马尔科夫链定理.

后续有空再继续整理：