机器学习基础

马尔科夫链

简介

马尔可夫链（Markov Chain）可以说是机器学习和人工智能的基石，在强化学习、自然语言处理、金融领域、天气预测、语音识别方面都有着极其广泛的应用

The future is independent of the past given the present 未来独立于过去，只基于当下。
这句人生哲理的话也代表了马尔科夫链的思想：过去所有的信息都已经被保存到了现在的状态，基于现在就可以预测未来。
虽然这么说可能有些极端，但是却可以大大简化模型的复杂度，因此马尔可夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络 RNN，隐式马尔可夫模型 HMM 等，当然 MCMC 也需要它

数学表示

如下P表示条件概率

既然某一时刻状态转移的概率只依赖于它的前一个状态 ，那么我们只要能求出系统中任意两个状态之间的转换概率，这个马尔科夫链的模型就定了

转移概率矩阵

上图中有 A 和 B 两个状态，A 到 A 的概率是 0.3，A 到 B 的概率是 0.7；B 到 B 的概率是 0.1，B 到 A 的概率是 0.9。
初始状态在 A，如果我们求 2 次运动后状态还在 A 的概率是多少？非常简单，如下：

如果用状态转移矩阵表示：

• 初始状态 A，2 次运动后状态为 A 的概率是 0.72；
• 初始状态 A，2 次运动后状态为 B 的概率是 0.28；
• 初始状态 B，2 次运动后状态为 A 的概率是 0.36；
• 初始状态 B，2 次运动后状态为 B 的概率是 0.64；
• 有了概率矩阵，即便求运动 n 次后的各种概率，也能非常方便求出

多个状态更复杂的情况，原理一样