【基于HMM的命名实体识别】

隐马尔科夫（HMM ）的提出

隐马尓科夫是对联合概率（观察状态，隐藏状态）分布建模，属于生成模型，属于有向概率图模型，假设有d个变量，每个变量有两种状态，则有
，当d非常大时，terms呈指数级增加，因此用HMM来解决联合概率分布表示的维度灾难问题。

命名实体识别（NER）

对于一段文本序列，识别出文本中我们认为比较重要的词，或者比较有意义的字，比如使人名、地名，组织机构名、时间、数字等类型。

HMM两个假设

1. 齐次马尔科夫假设 ：假设当前时刻的隐藏状态只依赖于上一时刻的隐藏状态(一阶马尔科夫)，其实可能依赖前两个、三个，该假设对应了标签-标签的隐藏状态的转移概率矩阵A；
2. 观测独立性假设 ：任意时刻的观察状态只依赖当前时刻的隐藏状态，该假设对应词-标签的发射概率矩阵B；
3. 初始隐藏状态矩阵

根据这三个参数HMM模型可以用如下公式表：

三个问题

1. 概率计算问题：给定HMM模型，求某个观测序列的概率，利用前向和后向算法来计算。
2. 学习问题 ：给定观测序列，求模型的参数（），利用极大似然估计和EM算法来计算。
3. 预测问题：解码问题，给定观测序列和HMM模型，求给定给定观测序列下隐藏状态的最优序列，因为可能有多个隐藏状态序列，我们利用动态规划维特比算法来寻找最优的隐藏状态序列。