HMM的参数学习问题

HMM的参数学习问题

HMM的参数学习问题有两种：

1. 监督学习：给定观测序列$O=(o_1,...,o_T)$和对应的状态序列$I=(i_1,...,i_T)$，估计参数$\lambda =(A,B,\pi )$。

2. 非监督学习：只给定观测序列$O=(o_1,...,o_T)$，估计参数$\lambda =(A,B,\pi )$。

---

监督学习（极大似然直接估计）

监督学习通过使用训练数据，来得到观测序列和对应的隐状态。然后计算相应的频数值，作为参数的近似估计。

---

非监督学习（Baum-Welch算法迭代估计）

Baum-Welch算法的本质即EM算法，是用于含有隐向量的模型中，进行参数学习的迭代算法。回顾EM算法的核心，是按照${\Theta }^{(g+1)}$和${\Theta }^{(g)}$之间的等式关系：

Θ ( g + 1 ) = a r g m a x Θ { Q ( Θ , Θ ( g ) ) } = a r g m a x Θ ∫ z P ( Z ∣ X , Θ ( g ) ) l o g P ( X , Z ∣ Θ ) d z \Theta^{(g+1)} = \mathop{argmax}_{\Theta} \{ Q(\Theta, \Theta^{(g)}) \} = \mathop{argmax}_{\Theta} \int_z P(Z | X, \Theta^{(g)}) logP(X,Z | \Theta) dz Θ(g+1)=argmaxΘ​{Q(Θ,Θ(g))}=argmaxΘ​∫z​P(Z∣X,Θ(g))logP(X,Z∣Θ)dz

不断更新参数，并且保证每一次更新，都能使对数似然函数逐渐增大。

在非监督学习的情况下，我们只有观测序列$O=(o_1,...,o_T)$，而状态序列$I$被视为不可观测的隐变量，此时HMM就是一个含有隐变量的概率模型：

$$P(O|\lambda )=\sum _{I}P(O|I,\lambda )P(I|\lambda )$$

此时的参数估计可以用EM算法实现。这里，参数$\lambda$的迭代规则为：

λ ( g + 1 ) = a r g m a x λ { Q ( λ , λ ( g ) ) } = a r g m a x λ ∫ I P ( I ∣ O , λ ( g ) ) l o g P ( O , I ∣ λ ) d I \lambda^{(g+1)} = \mathop{argmax}_{\lambda} \{ Q(\lambda, \lambda^{(g)}) \} = \mathop{argmax}_{\lambda} \int_I P(I| O, \lambda^{(g)}) logP(O,I | \lambda) dI λ(g+1)=argmaxλ​{Q(λ,λ(g))}=argmaxλ​∫I​P(I∣O,λ(g))logP(O,I∣λ)dI

其中，${\lambda }^{(g)}$是上一次迭代得到的参数，${\lambda }^{(g+1)}$是下一次迭代更新的参数。

E-step

如上，在HMM中，求期望的公式为：

$$Q(\lambda ,{\lambda }^{(g)})={\int }_{I}P(I|O,{\lambda }^{(g)})logP(O,I|\lambda )dI=\sum _{I}P(I|O,{\lambda }^{(g)})logP(O,I|\lambda )$$

由于$P(I|O,{\lambda }^{(g)})=\frac{P(O,I|{\lambda }^{(g)})}{P(O|{\lambda }^{(g)})}$，注意${\lambda }^{(g)}$是一个常数，因此对于$\lambda$来说，$\frac{1}{P(O|{\lambda }^{(g)})}$是一个常数因子，不会对$argmax$的结果产生任何影响。因此，$Q$函数又可写为：

$$Q(\lambda ,{\lambda }^{(g)})=\sum _{I}P(O,I|{\lambda }^{(g)})logP(O,I|\lambda )$$

在HMM的概率计算问题-直接计算章节，已求得：

$$P(O,I|\lambda )={\pi }_{i_1}\prod _{t=1}^T{b}_{i_t}(o_t)\prod _{t=1}^{T-1}{a}_{i_t{i}_{t+1}}$$

代入$Q$函数并展开，记为式1：

$Q(\lambda ,{\lambda }^{(g)})={\sum }_{I}P(O,I|{\lambda }^{(g)})log[{\pi }_{i_1}{\prod }_{t=1}^T{b}_{i_t}(o_t){\prod }_{t=1}^{T-1}{a}_{i_t{i}_{t+1}}]$

$={\sum }_{I}P(O,I|{\lambda }^{(g)})log{\pi }_{i_1}+{\sum }_{I}P(O,I|{\lambda }^{(g)}){\sum }_{t=1}^{T}log{b}_{i_t}(o_t)+{\sum }_{I}P(O,I|{\lambda }^{(g)}){\sum }_{t=1}^{T-1}log{a}_{i_t{i}_{t+1}}$

M-step

上述式1被展开为3项：它们分别包含了初始状态概率向量${\pi }_{i_1}$、观测概率矩阵的元素$b_{i_t}(o_t)$、状态转移概率矩阵的元素$a_{i_t{i}_{t+1}}$，可以分别用于估计参数$\pi$、$B_{N\times M}$、$A_{N\times N}$。现在分别对每一项做最大化，求出下一步的迭代参数。

• ${\pi }_{i_1}$

${\sum }_{I}P(O,I|{\lambda }^{(g)})log{\pi }_{i_1}$

$={\sum }_{i_1}...{\sum }_{i_T}[P(O,I|{\lambda }^{(g)})log{\pi }_{i_1}]$

$={\sum }_{i_1}log{\pi }_{i_1}[{\sum }_{i_2}...{\sum }_{i_T}P(O,i_1,i_2,...,i_T|{\lambda }^{(g)})]$

$={\sum }_{i_1}log{\pi }_{i_1}P(O,i_1|{\lambda }^{(g)})$

$={\sum }_{i=1}^{N}log{\pi }_{i}P(O,i_1=q_i|{\lambda }^{(g)})$

由于初始状态概率必须满足${\sum }_{i=1}^N{\pi }_i=1$，因此构造拉格朗日方程：

$L({\pi }_i)={\sum }_{i=1}^{N}log{\pi }_{i}P(O,i_1=q_i|{\lambda }^{(g)})-\gamma ({\sum }_{i=1}^N{\pi }_i-1)$

分别对${\pi }_i$、$\gamma$求偏导，并令其等于0：

$\frac{\partial L}{\partial {\pi }_i}=\frac{P(O,i_1=q_i|{\lambda }^{(g)})}{{\pi }_i}-\gamma =0$

$\frac{\partial L}{\partial \gamma }=-({\sum }_{i=1}^N{\pi }_i-1)=0$

联立解得：

$${\pi }_i^{(g+1)}=\frac{P(O,i_1=q_i|{\lambda }^{(g)})}{{\sum }_{i=1}^{N}P(O,i_1=q_i|{\lambda }^{(g)})}=\frac{P(O,i_1=q_i|{\lambda }^{(g)})}{P(O|{\lambda }^{(g)})}$$

• $b_{i_t}(o_t)$

${\sum }_{I}P(O,I|{\lambda }^{(g)}){\sum }_{t=1}^{T}log{b}_{i_t}(o_t)$

$={\sum }_I[P(O,I|{\lambda }^{(g)})log{b}_{i_1}(o_1)+...+P(O,I|{\lambda }^{(g)})log{b}_{i_T}(o_T)]$

$={\sum }_{I}P(O,I|{\lambda }^{(g)})log{b}_{i_1}(o_1)+...+{\sum }_{I}P(O,I|{\lambda }^{(g)})log{b}_{i_T}(o_T)$

$={\sum }_{i=1}^{N}P(O,i_1=q_i|{\lambda }^{(g)})log{b}_i(o_1)+...+{\sum }_{i=1}^{N}P(O,i_T=q_i|{\lambda }^{(g)})log{b}_i(o_T)$

$={\sum }_{i=1}^N{\sum }_{t=1}^{T}P(O,i_t=q_i|{\lambda }^{(g)})log{b}_i(o_t)$

由于观测概率矩阵的行和均为$1$，即必须满足$N$个约束条件： ∑ k = 1 M b i ( o t = v k ) = 1 , i ∈ { 1 , 2 , . . . , N } \sum_{k=1}^M b_i(o_t = v_k) = 1,i \in \{1,2,...,N\} ∑k=1M​bi​(ot​=vk​)=1,i∈{1,2,...,N}，因此构造拉格朗日方程：

$L(b_i(o_t))={\sum }_{i=1}^N{\sum }_{t=1}^{T}P(O,i_t=q_i|{\lambda }^{(g)})log{b}_i(o_t)-{\sum }_{i=1}^N{\gamma }_i({\sum }_{k=1}^M{b}_i(o_t=v_k)-1)$

分别对$b_i(o_t)$、${\gamma }_i$求偏导，并令其等于0：

【注】：只有在$o_t=v_k$时，$b_i(o_t)$对$b_i(v_k)$的偏导才不为零，以$I(o_t=v_k)$表示。

$\frac{\partial L}{\partial b_i(o_t)}=\frac{{\sum }_{t=1}^{T}P(O,i_t=q_i|{\lambda }^{(g)})}{b_i(o_t)}-{\sum }_{i=1}^N{\gamma }_i=0$

$\frac{\partial L}{\partial {\gamma }_i}=-({\sum }_{k=1}^M{b}_i(o_t=v_k)-1)=0$

联立解得：

$$b_i(o_t=v_k{)}^{(g+1)}=\frac{{\sum }_{t=1}^{T}P(O=v_k,i_t=q_i|{\lambda }^{(g)})}{{\sum }_{k=1}^M{\sum }_{t=1}^{T}P(O=v_k,i_t=q_i|{\lambda }^{(g)})}$$

$$=\frac{{\sum }_{t=1}^{T}P(O,i_t=q_i|{\lambda }^{(g)})I(o_t=v_k)}{{\sum }_{t=1}^{T}P(O,i_t=q_i|{\lambda }^{(g)})}$$

• $a_{i_t{i}_{t+1}}$

${\sum }_{I}P(O,I|{\lambda }^{(g)}){\sum }_{t=1}^{T-1}log{a}_{i_t{i}_{t+1}}$

$={\sum }_I[P(O,I|{\lambda }^{(g)})log{a}_{i_1{i}_2}+...+P(O,I|{\lambda }^{(g)})log{a}_{i_{T-1}{i}_T}]$

$={\sum }_{I}P(O,I|{\lambda }^{(g)})log{a}_{i_1{i}_2}+...+{\sum }_{I}P(O,I|{\lambda }^{(g)})log{a}_{i_{T-1}{i}_T}$

$={\sum }_{i=1}^N{\sum }_{j=1}^{N}P(O,i_1=q_i,i_2=q_j|{\lambda }^{(g)})log{a}_{ij}+...+{\sum }_{i=1}^N{\sum }_{j=1}^{N}P(O,i_{T-1}=q_i,i_T=q_j|{\lambda }^{(g)})log{a}_{ij}$

$={\sum }_{i=1}^N{\sum }_{j=1}^N{\sum }_{t=1}^{T-1}P(O,i_t=q_i,i_{t+1}=q_j|{\lambda }^{(g)})log{a}_{ij}$

由于状态转移概率矩阵的行和均为$1$，即必须满足$N$个约束条件 ∑ j = 1 N a i j = 1 , i ∈ { 1 , 2 , . . . , N } \sum_{j=1}^N a_{ij} = 1,i \in \{1,2,...,N\} ∑j=1N​aij​=1,i∈{1,2,...,N}，因此构造拉格朗日方程：

$L(a_{ij})={\sum }_{i=1}^N{\sum }_{j=1}^N{\sum }_{t=1}^{T-1}P(O,i_t=q_i,i_{t+1}=q_j|{\lambda }^{(g)})log{a}_{ij}-{\sum }_{i=1}^N{\gamma }_i({\sum }_{j=1}^N{a}_{ij}-1)$

分别对$a_{ij}$、${\gamma }_i$求偏导，并令其等于0：

$\frac{\partial L}{\partial a_{ij}}=\frac{{\sum }_{t=1}^{T-1}P(O,i_t=q_i,i_{t+1}=q_j|{\lambda }^{(g)})}{a_{ij}}-{\sum }_{i=1}^N{\gamma }_i=0$

$\frac{\partial L}{\partial {\gamma }_i}=-({\sum }_{j=1}^N{a}_{ij}-1)=0$

联立解得：

$$a_{ij}^{(g+1)}=\frac{{\sum }_{t=1}^{T-1}P(O,i_t=q_i,i_{t+1}=q_j|{\lambda }^{(g)})}{{\sum }_{j=1}^N{\sum }_{t=1}^{T-1}P(O,i_t=q_i,i_{t+1}=q_j|{\lambda }^{(g)})}$$

$$=\frac{{\sum }_{t=1}^{T-1}P(O,i_t=q_i,i_{t+1}=q_j|{\lambda }^{(g)})}{{\sum }_{t=1}^{T-1}P(O,i_t=q_i|{\lambda }^{(g)})}$$