马尔科夫链1

随机过程

随机过程，是依赖于参数的一族随机变量的全体，参数通常是时间。

随机变量是随机现象的数量表现，其取值随着偶然因素的影响而改变。例如，某商店在从时间$t_0$到时间$t_K$这段时间内接待顾客的人数，就是依赖于时间t的一族随机变量，即随机过程。

马尔可夫过程

马尔可夫过程(Markov process)是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。

马尔可夫过程是研究离散事件动态系统状态空间的重要方法，它的数学基础是随机过程理论。

马尔可夫性质

马尔可夫性质（英语：Markovproperty）是概率论中的一个概念，因为俄国数学家安德雷·马尔可夫得名。

当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。

具有马尔可夫性质的过程通常称之为马尔可夫过程。

马尔科夫链

在机器学习算法中，马尔可夫链(Markov chain)是个很重要的概念。马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。

该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。

在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。

假设状态序列为$...x_{t-2}，x_{t-1}，x_t，x_{t+1}，x_{t+2}，...$，由马尔科夫链可知，时刻$x_{t+1}$的状态只与$x_t$有关，用数学公式描述就是：$$P(x_{t+1}|...x_{t-2}，x_{t-1}，x_t)=P(x_{t+1}|x_t)$$

既然某一时刻状态转移的概率只依赖前一个状态，那么只要求出系统中任意两个状态之间的转移概率，这个马尔科夫链的模型就定了。

看一个具体的例子:

这个马尔科夫链是表示股市模型的，共有三种状态：牛市（Bull market）, 熊市（Bear market）和横盘（Stagnant market）。

每一个状态都以一定的概率转化到下一个状态。比如，牛市以0.025的概率转化到横盘的状态。

这个状态概率转化图可以以矩阵的形式表示。如果我们定义矩阵$P$某一位置$P(i,j)$的值为$P(j|i)$，即从状态$i$变为状态$j$的概率。

另外定义牛市、熊市、横盘的状态分别为0、1、2，这样我们得到了马尔科夫链模型的状态转移矩阵为：

不管我们的初始状态是什么样子的，只要状态转移矩阵不发生变化，当$n\to \infty$时，最终状态始终会收敛到一个固定值。

马尔可夫链细致平稳条件

首先，马尔科夫链要能收敛，需要满足以下条件：

1. 可能的状态数是有限的。
2. 状态间的转移概率需要固定不变
3. 从任意状态能够转变到任意状态。
4. 不能是简单的循环，例如全是从x到y再从y到x。

以上是马尔可夫链收敛的必要条件。

马尔科夫链的应用

马尔可夫链可被应用于蒙特卡罗方法中，形成马尔可夫链蒙特卡罗（Markov Chain Monte Carlo, MCMC） ，也被用于动力系统、化学反应、排队论、市场行为和信息检索的数学建模。

此外作为结构最简单的马尔可夫模型（Markov model），一些机器学习算法，例如，隐马尔可夫模型（Hidden Markov Model, HMM）、马尔可夫随机场（Markov Random Field, MRF），马尔可夫决策过程（Markov decision process, MDP）以马尔可夫链为理论基础 。

参考：

原文链接：https://blog.csdn.net/bitcarmanlee/article/details/82819860