HMM, CRF(还有EM、GMM)

HMM

隐含马尔科夫模型(hidden Markov model, HMM), 可以用于标注问题的统计学习模型，
由隐藏的马尔科夫链，随机生成观测序列的过程，属于生成模型。
关于时序的概率模型

熵，最大熵，是基础。
熵：表现了系统所处状态的不确定性程度。平均信息量（平均不确定程度）。
最大熵：保留全部的不确定性，将风险降到最小。指数函数形式，形式漂亮简单，实际实现计算复杂。

马尔科夫链：状态空间中从一个状态到另一个状态的转换的随机过程。该过程具备“无记忆”的性质，下一状态的概率分布，只由当前状态决定。这种“无记忆性”叫做马尔科夫性质。

HMM中的三个元素： 初始化概率向量， 状态转移矩阵，观测矩阵。

HMM的两个基本假设： 1）当前时刻的状态只与上一时刻的状态有关， 2）当前时刻的观测只与当前时刻的状态有关。

HMM中的三个基本问题：
1. 概率计算问题： 给定模型(初始状态概率，状态转移矩阵，观测矩阵)，和观测序列O，计算在该模型下，观测序列O出现的概率。
方法：前向-后向算法，通过递推高效的计算概率(直接引用前一时刻的计算结果， 避免了重复计算)。

**2. 学习问题：**给定观测序