GMM-HMM

需要训练的参数

1.对应于混淆矩阵B的高斯混合模型参数B
2.状态转移矩阵A
3.A中只有对应于自环和后继的状态转移概率需要被训练，其他项全都设置为零，并且不再改变

训练过程

Step 1：构建整个句子的HMM结构
Step 2：将A矩阵中对应于自环和后继的项初始化为0.5，其他项初始化为0
Step 3：用整个训练集的全集均值和方差对B矩阵进行初始化
Step 4：运行Baum-Welch算法的迭代过程。在每一次迭代中，计算前向概率和后向概率（计算方法见下文）以得到t时刻处于状态i的概率，然后将它用于更新参数A和B，重复迭代，直至收敛

前向算法

前言

以下解释建立在已掌握基本隐马尔可夫模型的基础上，隐马尔科夫模型不再做过多解释，这里仅阐明下文用到的相关符号含义：

符号	含义
$\pi$	初始状态概率向量
$b$	观测概率矩阵（观测概率也称发射概率）
$b_i(o_j)$	状态i产生观测$o_j$ 的概率
$\alpha$	状态转移矩阵

前向概率定义

给定隐马尔可夫模型$\lambda$，定义到时刻$t$部分观测序列为$o_1,o_2,\dots ,o_t$，且状态为$q_i$的概率为前向概率，记作（可省略$\lambda$）：

$${\alpha }_t(i)=P(o_1,o_2,\dots ,o_t,i_t=q_i|\lambda )$$
用图可能更好理解(即已知隐马尔可夫模型，t时刻的观测序列，求状态为$q_i$的概率)：

算法步骤

输入：隐马尔科夫模型$\lambda$，观测序列$O$
输出：观测序列概率$P(O|\lambda )$

1.初值：
$${\alpha }_1(i)={\pi }_i{b}_i(o_1),i=1,2,\dots ,N$$
(理解：即第一个观测为$o_1$的情况下，对应的第一个状态为1、2、3的概率)

2.递推：
对t=1,2,…,T-1，
$${\alpha }_{t+1}(i)=[\sum _{j=1}^N{\alpha }_t(j){\alpha }_{ji}]b_i(o_{t+1}),i=1,2,\dots ,N$$

（理解：以求t=3为例，已知t=2时，即第一和二个观测为$o_1，o_2$的情况下，对应的第二个状态为1、2、3的概率，那么分情况来说即：第二个状态为1时，由状态转移矩阵求第三个状态为1、2、3的概率，再分别乘上对应状态发射产生观测$o_3$的概率进行叠加，第二个状态为2、3同理，把所有的都叠加起来就得到我们想要的结果(解释的过于冗余了，其实就一句话，叠加所有可能的情况)

）

3.终止：
$$P(O|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$

PS：先写到这里，要去上课了