HMM(2) Baum-Welch算法推导

HMM(2) Baum-Welch算法推导

在上一篇博客中介绍了HMM前向后向算法的推导过程，本次介绍的Baum-Welch算法是用来解决HMM的第二个问题的，即在已知观测序列$O$，但不知道隐状态序列$Q$和模型参数$\lambda$时，如何去估计参数$\lambda$。

1 EM算法介绍和推导

由于Baum-Welch算法的推导过程其实是通过EM算法的思想来进行的，所以在这之前我们需要先对EM算法（Expectation-Maximization algorithm）进行简单的推导与介绍。
EM算法最初是为了解决数据缺失情况下参数的估计问题，算法通过迭代的方式不断更新参数直到最终收敛。其中，迭代的过程可以分为E步和M步，这也就是为什么该算法叫做EM 算法的原因。

1-1 Jensen不等式

Jensen不等式的定义如下：

1. 若函数$f(x)$是凸函数，$x$是随机变量，那么$E(f(x))\ge f(E(x))$。当且仅当$x$是常量时，不等式取等号成立。
2. 若函数$f(x)$是凹函数，$x$是随机变量，那么$E(f(x))\le f(E(x))$。当且仅当$x$是常量时，不等式取等号成立。
   如下图所示，直观的对Jensen不等式进行理解。图片源于网络。
   

1-2 EM算法推导

假设样本集合 X = { x 1 , x 2 , . . . , x N } X=\{x_1,x_2,...,x_N\} X={x1​,x2​,...,xN​}包含$N$个样本，模型需要估计的参数为$\lambda$，模型的对数似然如式（1-1）：
$$L(\lambda )=\sum _{i=1}^N\log P(x_i;\lambda )\text{\hspace{1em}(1-1)}$$
而极大似然估计则是寻找一组能够使式（1-1）最大的模型参数作为最终的参数估计，即$\hat{\lambda }=argmax(L(\lambda ))$。
若我们得到的样本数据包含为观察到的隐藏数据 Z = { z 1 , z 2 , . . . , z N } Z=\{z_1,z_2,...,z_N\} Z={z1​,z2​,...,zN​}，即每个样本对应的隐藏数据。此时我们最大化的对数似然将变为式（1-2）。
$$L(\lambda )=\sum _{i=1}^N\log \sum _{z_i}P(x_i,z_i;\lambda )\text{\hspace{1em}(1-2)}$$
接下来，假设隐藏数据服从某一分布$Q(z_i)$，对式（1-2）进行变换，如式（1-3）。
$$\begin{array}{rl}L(\lambda )& =\sum _{i=1}^N\log \sum _{z_i}P(x_i,z_i;\lambda )\\ & =\sum _{i=1}^N\log \sum _{z_i}Q(z_i)\frac{P(x_i,z_i;\lambda )}{Q(z_i)}\\ & \ge \sum _{i=1}^N\sum _{z_i}Q(z_i)\log \frac{P(x_i,z_i;\lambda )}{Q(z_i)}\end{array}\text{\hspace{1em}(1-3)}$$
式（1-3）中第二步到第三步是利用Jensen不等式完成的，由于$\log (x)$函数是一个凹函数，因此$E(f(x))\le f(E(x))$，在这里是关于$Q(z_i)$的期望。我们通过Jensen不等式确定了$L(\lambda )$的下界，在之前说过只有当函数内的随机变量取到常量时，Jensen不等式才会取到等号，也就是说$\frac{P(x_i,z_i;\lambda )}{Q(z_i)}=c$，由于${\sum }_{i=1}^{N}Q(z_i)=1$：
$$\begin{gathered} \frac{P(x_i,z_i;\lambda )}{Q(z_i)}=c \\ P(x_i,z_i;\lambda )=cQ(z_i) \\ \sum _{z_i}P(x_i,z_i;\lambda )=c\sum _{z_i}Q(z_i) \\ \sum _{z_i}^{N}P(x_i,z_i;\lambda )=c \end{gathered}$$
根据上式的推导，我们发现在Jensen不等式取等号时，${\sum }_{z_i}P(x_i,z_i;\lambda )$也取得常量，因此将常量用${\sum }_{i=1}^{N}P(x_i,z_i;\lambda )$替换后得（1-4）：
$$\frac{P(x_i,z_i;\lambda )}{Q(z_i)}=\sum _{z_i}P(x_i,z_i;\lambda )\text{\hspace{1em}(1-4)}$$$$Q(z_i)=\frac{P(x_i,z_i;\lambda )}{{\sum }_{z_i}P(x_i,z_i;\lambda )}=\frac{P(x_i,z_i;\lambda )}{P(x_i;\lambda )}=P(z_i|x_i;\lambda )\text{\hspace{1em}(1-5)}$$
式（1-5）的推导展示了在Jensen不等式取得等号时$Q(z_i)$实际上是后验概率，我们此时便可以确定$Q(z_i)$的选择了，计算后验概率的这一步就是E步，在算法中利用上一次迭代得到的参数计算后验概率来对$Q(z_i)$进行更新，下一步M步，我们固定计算好的$Q(z_i)=P(z_i|x_i;\hat{\lambda })$来最大化${\sum }_{i=1}^N{\sum }_{z_i}Q(z_i)\log \frac{P(x_i,z_i;\lambda )}{Q(z_i)}$，即：
$$\begin{array}{rl}argmax\sum _{i=1}^N\sum _{z_i}Q(z_i)\log \frac{P(x_i,z_i;\lambda )}{Q(z_i)}& =argmax\sum _{i=1}^N\sum _{z_i}P(z_i|x_i;\hat{\lambda })\log \frac{P(x_i,z_i;\lambda )}{P(z_i|x_i;\hat{\lambda })}\\ & =argmax\sum _{i=1}^N\sum _{z_i}P(z_i|x_i;\hat{\lambda })\log P(x_i,z_i;\lambda )-\sum _{i=1}^N\sum _{z_i}P(z_i|x_i;\hat{\lambda })\log P(z_i|x_i;\hat{\lambda }\\ & =argmax\sum _{i=1}^N\sum _{z_i}P(z_i|x_i;\hat{\lambda })\log P(x_i,z_i;\lambda )\end{array}$$上式中第二步的第二项中由于是固定值所以不影响最终的结果，所以将其省略。因此，EM算法的M步就是寻找能够最大化上式${\sum }_{i=1}^N{\sum }_{z_i}P(z_i|x_i;\hat{\lambda })\log P(x_i,z_i;\lambda )$的模型参数$\lambda$。

Baum-Welch算法推导

Baum-Welch算法的整个过程就是EM算法的过程。首先在E步我们利用上一次迭代训练出的$\hat{\lambda }$来计算后验概率，在M步我们固定后验概率计算最大化式（1-6）新的一组参数$\hat{\lambda }$，其中$K$表示样本集合中序列样本的总数，可以发现式（1-6）和上一节中最后推出来的公式是一致的，未知的隐状态序列$Q$就是EM算法中的隐藏变量。
$$\hat{\lambda }:=argma{x}_{\lambda }\sum _{k=1}^K\sum _{Q}P(Q|O_k,\hat{\lambda })\log P(O_k,Q|\lambda )\text{\hspace{1em}(1-6)}$$
假设我们的训练样本集是 { O 1 , O 2 , . . . , O K } \{O_1,O_2,...,O_K\} {O1​,O2​,...,OK​},对于其中的某一个 O k = { o 1 ( k ) , o 2 ( k ) , . . . , o T ( k ) } O_k=\{o_1^{(k)},o_2^{(k)},...,o_T^{(k)}\} Ok​={o1(k)​,o2(k)​,...,oT(k)​}，样本集对应的隐状态集是 { Q 1 , Q 2 , . . . , Q K } \{Q_1,Q_2,...,Q_K\} {Q1​,Q2​,...,QK​}，对于其中的某一个 Q k = { q 1 ( k ) , q 2 ( k ) , . . . , q T ( k ) } Q_k=\{q_1^{(k)},q_2^{(k)},...,q_T^{(k)}\} Qk​={q1(k)​,q2(k)​,...,qT(k)​}。对式（1-6）进一步分解为（1-7）：
$$\hat{\lambda }:=argma{x}_{\lambda }\sum _{k=1}^K\sum _Q\frac{P(O_k,Q|\hat{\lambda })}{P(O_k|\hat{\lambda })}\log P(O_k,Q|\lambda )\text{\hspace{1em}(1-7)}$$
式（1-7）中由于$P(O_k|\hat{\lambda })$的值是固定的，因此可以忽略，式（1-7）则化简为式（1-8）：
$$\hat{\lambda }:=argma{x}_{\lambda }\sum _{k=1}^K\sum _{Q}P(O_k,Q|\hat{\lambda })\log P(O_k,Q|\lambda )\text{\hspace{1em}(1-8)}$$
式（1-8）也就是我们最终需要优化的表达式，下面我们需要写出在模型参数为$\lambda$时$O$和$Q$的联合概率分布的详细表达式，如式（1-9），其中式（1-8）中在$\hat{\lambda }$时$O$和$Q$的联合概率分布与式（1-9）一致，只是因为迭代次数的原因参数值不同而已。式（1-9）中$i^t$表示序列$t$时刻的隐状态为$i$。
$$P(O,Q|\lambda )=\pi (i^{(1)})b_{i^{(1)}}(o_1)a_{i^{(1)}{i}^{(2)}}{b}_{i^{(2)}}(o_2)...a_{i^{(T-1)}{i}^{(T)}}{b}_{i^{(T)}}(o_T)\text{\hspace{1em}(1-9)}$$
将式（1-9）带入式（1-8）中进行展开得：
$$\begin{array}{rl}\hat{\lambda }& :=argma{x}_{\lambda }\sum _{k=1}^K\sum _{Q}P(O_k,Q|\hat{\lambda })\log [\pi (i^{(1)})b_{i^{(1)}}(o_1)a_{i^{(1)}{i}^{(2)}}{b}_{i^{(2)}}(o_2)...a_{i^{(T-1)}{i}^{(T)}}{b}_{i^{(T)}}(o_T)]\\ & =argma{x}_{\lambda }\sum _{k=1}^K\sum _{Q}P(O_k,Q|\hat{\lambda })(\log \pi (i^{(1)})+\sum _{t=1}^{T-1}\log a_{i^{(t)}{i}^{(t+1)}}+\sum _{t=1}^T{b}_{i^{(t)}}(o_t))\end{array}$$
接下来对$\lambda (\Pi ,A,B)$内的各个参数求偏导，首先来求$\widehat{\pi (i)}$，我们先将求导后为0的部分省略掉。
$$\widehat{\pi (i)}=argma{x}_{\pi (i^{(1)})}\sum _{k=1}^K\sum _{Q}P(O_k,Q|\hat{\lambda })\log \pi (i^{(1)})\text{\hspace{1em}(1-10)}$$
由于${\sum }_{i=1}^M\pi (i^{(1)})=1$等式条件的约束，因此利用拉格朗日乘子法可 以得到需要最大化的拉格朗日函数（1-11）：
$$l(\pi )=argma{x}_{\pi (i^{(1)})}\sum _{k=1}^K\sum _{Q}P(O_k,Q|\hat{\lambda })\log \pi (i^{(1)})+\gamma (\sum _{i=1}^M\pi (i^{(1)})-1)\text{\hspace{1em}(1-11)}$$
对（1-11）求$\pi (i^{(1)})$偏导并令结果等于零得式（1-12）：
$$\sum _{k=1}^{K}P(O_k,q_1^{(k)}={\sigma }_i|\hat{\lambda })+\gamma \pi (i^{(1)})=0\text{\hspace{1em}(1-12)}$$
对式（1-12）两侧对$i^{(1)}$求和得式（1-13）：
$$\sum _{k=1}^{K}P(O_k|\hat{\lambda })+\gamma =0\text{\hspace{1em}(1-13)}$$
将式（1-13）的$\gamma =-{\sum }_{k=1}^{K}P(O_k|\hat{\lambda })$带入到式（1-12）中可以得到：
$$\begin{array}{rl}\pi (i^{(1)})& =\frac{{\sum }_{k=1}^{K}P(O_k,q_1^{(k)}={\sigma }_i|\hat{\lambda })}{{\sum }_{k=1}^{K}P(O_k|\hat{\lambda })}\end{array}\text{\hspace{1em}(1-14)}$$