马尔可夫链（Markov chain）

马尔可夫链（Markov chain）是数学建模和机器学习常用的工具（据说尤其在NLP中，我目前尚不了解很多，但之前曾看过一篇用简单的马尔可夫链实现一个鸡汤生成器的博文，有兴趣的朋友可以看看）。这篇文章将对它做一个简单的介绍。

以下内容为本人在参考了一些资料后的原创，因此版权属于本人。欢迎转载，但请标明原作者和原链接。

由于内容比较繁多，我将在未来一段时间内完成这篇文章。

另注：根据作者测试，本文在移动端存在一个问题：公式无法显示完全。 解决办法是点击公式，使其出现选择框；长按至出现选项；选择Math Settings 里的 Scale All Math... 将scale调为大概50%，即可显示完全。

如下图所示：

什么是Markov chain？

定义

维基百科上给出的定义如下：

马尔可夫链（英语：Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain，缩写为DTMC），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。

而用形式化的语言描述则为：
当等式两边的条件概率都有意义时，

 

P(Xn+m=j |Xn=i,Xn−1=in−1,…X1=i1)=P(Xn+m=j |Xn=i)P(Xn+m=j |Xn=i,Xn−1=in−1,…X1=i1)=P(Xn+m=j |Xn=i)

m=1m=1 时等式成立，则随机变量序列 XnXn 是一个马尔可夫链, XiXi 的可能值构成的可数集称为该链的状态空间（state space）。

定义的推论

使用数学归纳法容易证明， 若 m=1m=1时 上式成立，则 mm 为任意正整数都成立。
要完成这个证明，我们先证明这样一个引理：