隐马尔可夫模型（HMM） python实现

$CSDN真的很过分，换了Katex很多公式都显示不出来了\dots \dots 看完整公式请移步$
Baileyswu@github

学习目标：

• 介绍HMM的定义与符号
• 讨论HMM的三个基本问题
  • 概率计算问题：前后向算法
  • 学习问题：Baum-Welch模型，EM算法计算参数
  • 预测问题：Viterbi算法
• 每种算法用代码实现
• 参考李航的《统计学习方法》（在这里吐槽一下HMM那章下标 $i$ 乱用，有些算法不是很ok）

---

基本概念

HMM是一种时序数据模型。
设序列长度为 $T$ ，具有观测序列 X ⃗ = { x ⃗ 1 , … , x ⃗ T } \vec X=\{\vec x_1,\dots,\vec x_T\} X ={ x 1​,…,x T​} 和隐变量序列 Z ⃗ = { z ⃗ 1 , … , z ⃗ T } \vec Z=\{\vec z_1,\dots,\vec z_T\} Z ={ z 1​,…,z T​} 。
这里认为每一个观测都由对应的隐变量生成。隐变量序列是Markov链，${\vec{z}}_t$只依赖于${\vec{z}}_{t-1}$

变量都在有限的状态集里变化，观测的状态集为 S ⃗ = { s ⃗ 1 , … , s ⃗ M } \vec S=\{\vec s_1,\dots,\vec s_M\} S ={ s 1​,…,s M​} ，隐变量的状态集为 H ⃗ = { h ⃗ 1 , … , h ⃗ N } \vec H=\{\vec h_1,\dots,\vec h_N\} H ={ h 1​,…,h N​} 。
因此 ${\vec{x}}_t\in \vec{S},{\vec{z}}_t\in \vec{H},t=1,\dots ,T$ 。
有时需要反向找到某状态是状态集里的第几个，定义 $findindex({\vec{z}}_t)=i$ ，表示 ${\vec{z}}_t={\vec{h}}_i$ 。
同理也有 $findindex({\vec{x}}_t)=i$ ，表示 ${\vec{x}}_t={\vec{s}}_i$ 。

隐状态间的转移矩阵为 $\vec{A}=[a_{ij}{]}_{N\times N}$ ， $a_{ij}$ 是从状态 ${\vec{h}}_i$ 转移到 ${\vec{h}}_j$ 的概率。
从隐状态到观测的发射矩阵 $\vec{B}=[b_{ij}{]}_{N\times M}$ ， $b_{ij}$ 是从状态 ${\vec{h}}_i$ 转移到观测 $\vec{s}$