Markov Chain算法笔记

Markov Chain 体现的是状态空间的转换关系，下一个状态只决定与当前的状态(可以联想网页爬虫原理，根据当前页面的超链接访问下一个网页)。如下图：

这个状态图的转换关系可以用一个转换矩阵 T 来表示：

举一个例子，如果当前状态为 u(x) = (0.5, 0.2, 0.3), 那么下一个矩阵的状态就是 u(x)T = (0.18, 0.64, 0.18), 依照这个转换矩阵一直转换下去，最后的系统就趋近于一个稳定状态 (0.22, 0.41, 0.37) 。而事实证明无论你从那个点出发，经过很长的 Markov Chain 之后都会汇集到这一点。

满足什么条件下经过很长的 Markov Chain 后系统会趋近一个稳定状态呢，大概的条件如下：

 1. Irreducibility. 即图是联通的，各个状态之间都有过去的办法，举个不联通的例子，比如爬虫爬不到内部局域网的网页
 2. Aperiodicity. 即图中遍历不会陷入到一个死圈里，进去了再也出不来，有些网站为了防机器人，会专门设置这种陷阱
 3. Detailed Balance，这是保证系统有稳态的一个重要条件，详细说明见下面。

假设 p(x) 是最后的稳态，那么 detailed balance 可以用公式表示为：

什么意思呢？假设上面状态图 x1 有 0.22 元， x2 有 0.41 元，x3 有 0.37 元，那么 0.22×1 表示 x1 需要给 x2 钱，以此类推，手动计算，可以发现下一个状态每个人手中的钱都没有变。值得说明的是，这里体现了一个很重要的特性，那就是从一个高概率状态 xi 向一个低概率状态 x(i-1) 转移的概率等于从这个低概率状态向高概率状态转移的概率（reversible，至于要不要转移又是另外一回事)。

Markov Chain 的基本性质“无后效性”，即事物将来的状态及其出现的概率的大小，只取决于该事物现在所处的状态，而与以前时间的状态无关；
还有一个基本性质是“遍历性”，是指不管事物现在出于什么状态，在较长时间内，马尔科夫过程逐渐趋于稳定状况，而且稳定状态与初始状况无关。