马尔可夫模型（Markov）

1 确定性系统和不确定性系统

对于一个确定性系统，多个状态构成了一个状态序列，每一个状态之间的关系都是确定的，根据当前状态，就可以确定下一个状态。比如红绿灯的变化状态。

与确定性系统相对应的是不确定系统，例如，每天的天气状态变化就是一个不确定性系统，根据当前的刮风天气，我们无从得知下一刻的天气是刮风还是打雷还是下雨。这就引出了我们的马尔可夫过程。

2 马尔可夫过程

在上面的天气系统中，有刮风，下雨，阴天三种状态，我们希望找到这个简单系统的天气变化的一定规律，为了简化问题，常常做出以下假设：

马尔科夫假设：模型的当前状态仅仅依赖前几个状态

这个假设极大的简化了系统，但是也使得系统的一些信息发生丢失。
进一步就得到了m阶马尔可夫模型：

状态间的转移仅依赖于前m个状态的过程，该过程就是m阶马尔可夫模型

如果该状态仅仅依赖于前一个状态，这就是最简单的一阶马尔可夫模型：