机器学习笔记（一）：关于隐含马尔科夫模型

这篇文章是我在看完吴军老师的数学之美一书中关于隐马尔科夫模型之后所写，旨在记录一下自己对隐马尔科夫模型的认识，
隐马尔科夫模型我在很早之前就有所接触，在学习语音识别的时候，会涉及到隐马尔科夫模型，当时是完全不懂，现在虽然还是一知半解，因为没有再次去使用，接下来的主攻方向是机器视觉，对隐马尔可夫模型的接触可能会越来越少，所以趁着这个时间先记一下。
这里主要提到隐马尔科夫模型的几个知识点：马尔科夫链，鲍姆-韦尔奇算法，维比特算法，概率图模型
这里面马尔科夫链是模型的数学含义的基础，鲍姆-韦尔奇算法是模型的训练算法，也是隐这个字的来源，维比特算法是模型运行的时候的解码算法，而概率图模型是西瓜书里面提到的知识。

1. 马尔科夫链
   随机过程中各个状态的概率之与它的前一个状态有关，和以往的任何状态无关。
   
   这句话几乎在所有的解释隐马尔科夫模型里面都能看到，理解起来也很简单，图中就是一个马尔科夫链，状态m4的出现的几率之和它上一个状态有关，如果上一个状态是m3，那m4出现的概率就是0.3，如果是m2，那m4状态出现的几率就是0.4，如果是m5，那m4出现的几率就是0了。
2. 鲍姆-韦尔奇算法
   隐马尔科夫模型就是马尔科夫链的扩展：任一时刻t的状态St是不可见的，隐马尔科夫模型在每个时刻t会输出一个符号Ot，这个Ot仅和St相关，这个称为独立输出假设
   鲍姆-韦尔奇算法是一种无监督的训练算法，具体就是在不断的迭代中更新转移概率（上图中m2到m3的0.6就是转移概率）和输出概率（输出符号Ot的概率），因为语音的状态序列无法明确标注，所以这里只能采用无监督的方法，统计输出符号和输出概率，和每一种符号输出之后所有的下一个状态出现的概率（转移概率），将这些数据作为迭代的上一组模型参数，最后迭代出最大的输出概率（EM过程，期望最大化）。
3. 维比特算法
   这个算法主要是解码算法，它适用于隐马尔可夫模型，并不是说属于隐马尔可夫模型，然而我并没有深入的去学习，这里记录一些关于这个算法的关键字：动态规划算法，最短路径，篱笆网络，
4. 概率图模型
   这里是西瓜书上看到的一些小知识，数学之美中也有提到，但还没有仔细阅读。
   

如果想要深入学习隐马尔科夫模型，理解核心理论，还是得仔细的看几遍专业的书，手动推导概率公式。