隐马尔科夫模型(HMM)算法的理解与超详细推导

今天看了徐亦达教授的HMM讲解，感觉有所收获，并将隐马尔科夫模型算法的推导整理了一下，帮助大家一起理解这个算法。首先我们通过一个股票的案例来引入这个算法，我们来看看这个股票行情和涨跌观测值的一个状态图：

由图中可以看出，股市的行情分成牛市、熊市和均市，这三种行情是可以互相转化的，并且互相转化是有一定的概率的，这种行情是观测不到的，是一种隐变量，也可以看成是一种状态 $q$，并且在每一个时间点的状态我们可以表示成 $q_t$，而我们可以观测到的是股市的涨跌，所以我们将涨跌或者是不变看成是观测值 $y$，某一时刻的观测值可以表示成 $y_t$，所以隐状态和观测值的关系我们可以由下图表示：

根据上图，我们可以将 $t-1$ 时刻到 $t$ 时刻状态变换的概率 $P(q_t|q_{t-1})$ 称为转移概率，将 $t$ 时刻得到观测值的概率 $P(y_t|q_t)$ 称为发射概率。我们可以将每一种状态下转移的概率写在一起成为转移概率矩阵 $A$，就像上面的股票案例，我们可以得到这个状态图的转移概率矩阵为：
$$A=\left[\begin{array}{ccc}0.6& 0.2& 0.2\\ 0.5& 0.3& 0.2\\ 0.4& 0.1& 0.5\end{array}\right]$$
看这个矩阵每一行都是一个状态的转移概率，比如第一行表示牛市状态下转移到另外一个状态的概率，0.6表示下一个状态是牛市的概率，剩下的0.2和0.2分别表示牛市转到熊市和均市的概率，矩阵的第一列表示转移到牛市状态的概率，第二列表示转移到熊市的概率，第三列表示转移到均市的概率。每一行表示某个状态，所以说每一行元素相加的值为1。假设有 $k$ 种不同的状态， 我们可以将转移概率矩阵用一般的形式表示成：
$$A_k=\left[\begin{array}{ccc}P(q_t=1|q_{t-1}=1)& \cdots & P(q_t=k|q_{t-1}=1)\\ ⋮& \ddots & ⋮\\ P(q_t=1|q_{t-1}=k)& \cdots & P(q_t=k|q_{t-1}=k)\end{array}\right]$$
嗯，看到这个状态转移概率矩阵是不是很好理解了，矩阵中 $q_{t-1}$ 表示上一个状态值， $q_t$ 表示当前的状态值。有了状态转移概率，我们再来看看观测值，前面我们有提到过，在某种状态下的观测值出现的概率，我们称之为发射概率，有了前面的状态转移概率的基础，我们就很好理解发射概率矩阵了，上面股票行情图的发射概率矩阵 $B$ 如下：
$$B=\left[\begin{array}{ccc}0.7& 0.1& 0.2\\ 0.1& 0.6& 0.3\\ 0.3& 0.3& 0.4\end{array}\right]$$
同样的，在这个矩阵中，第一行表示牛市状态下，股市涨、跌和不变的概率分别是0.7、0.1和0.2，所以说发射概率矩阵每一行元素的和也为1。我们同样可以把发射概率矩阵用一般的形式表达出来：
$$B_k\ast m=\left[\begin{array}{ccc}P(y_t=1|q_t=1)& \cdots & P(y_t=m|q_t=1)\\ ⋮& \ddots & ⋮\\ P(y_t=1|q_t=k)& \cdots & P(y_t=m|q_t=k)\end{array}\right]$$
在上述矩阵中，$P(y_t=1|q_t=1)$ 表示在状态 $q_t=1$的时候，观测值为 $y_t=1$ 出现的概率，以此类推，所以在同一种状态下所有观测值出现的概率相加等于1，也就是说在发射概率矩阵中，每一行的元素和为1。有了状态转移概率矩阵和发射概率矩阵的基础之后，我们再来看看下一个问题：在有状态 $q_1$、$q_2$、$q_3$ 的情况下，出现观测序列 $y_1$、$y_2$、$y_3$ 的概率。这个问题可以用数学表达式表示成：
$$P(y_1,y_2,y_3)=\sum _{q_1=1}^K\sum _{q_2=1}^K\sum _{q_3=1}^{K}P(y_1,y_2,y_3,q_1,q_2,q_3)$$
在这个数学表达式中，参数 $q_1$、$q_2$、$q_3$ 可以通过求和消除，抛开求和符号不说，我们看看 $P(y_1,y_2,y_3,q_1,q_2,q_3)$ 这个表达式，我们看看如何把这个表达式分解，首先我们想到的是贝叶斯公式，我们可以将 $P(y_1,y_2,y_3,q_1,q_2,q_3)$ 写成如下表达式：
$$P(y_1,y_2,y_3,q_1,q_2,q_3)=P(y_3|y_1,y_2,q_1,q_2,q_3)\times P(y_1,y_2,q_1,q_2,q_3)$$
前面我们提到马尔科夫的时候说过，当前的概率只与最近的那个状态有关，用数学表达式就可以表示成：
$$P(y_3|y_1,y_2,q_1,q_2,q_3)\text{ = }P\text{(}{y}_3|q_3\text{)}$$
所以上述的数学表达式可以写成：
$$\begin{gathered} P(y_1,y_2,y_3,q_1,q_2,q_3)=P(y_3|q_3)\times P(y_1,y_2,q_1,q_2,q_3) \\ =P(y_3|q_3)\times P(q_3|y_1,y_2,q_1,q_2)\times P(y_1,y_2,q_1,q_2) \end{gathered}$$
好了，到了这一步，我们又可以看到表达式中的第二项 $P(q_3|y_1,y_2,q_1,q_2)$，是不是又有想法了？没错，和上面一样，这个表达式同样可以做变换：
$$P(q_3|y_1,y_2,q_1,q_2)=P(q_3|q_2)$$
好了，变换之后，原始的数学表达式可以写成：
$$P(y_1,y_2,y_3,q_1,q_2,q_3)=P(y_3|q_3)\times P(q_3|q_2)\times P(y_1,y_2,q_1,q_2)$$
到了这一步，我们可以观察到什么？没错，就是递归，这个数学表达式就体现出了 $P(y_1,y_2,y_3,q_1,q_2,q_3)$ 和 $P(y_1,y_2,q_1,q_2)$ 的递归关系。而 $P(y_3|q_3)$ 正表达的是发射概率，$P(q_3|q_2)$ 表达的是转移概率。有了这个递归的关系，我们可以一直递归下去，那么原始的数学表达式可以写成：
$$P(y_1,y_2,y_3,q_1,q_2,q_3)=P(y_3|q_3)\times P(q_3|q_2)\times P(y_2|q_2)\times P(q_2|q_1)\times P(y_1|q_1)\times P(q_1)$$
由上述表达式推及一般的表达式，表达式中的参数都可以在转移概率矩阵 $A$ 和 发射概率矩阵$B$ 中找到，唯独只有初始的 $P(q_1)$ 的概率无从所知，我们将这个初始状态定义成 $\pi$，那么隐马尔科夫模型的参数可以表示成：
λ = { A , B , π } \lambda = \{ A,B,\pi \} λ={A,B,π}
所以我们可以将初始状态的值表示成 ${\pi }_i=P(q_1=i)$， 同时状态序列表示成 $Q=q_1,q_2,...,q_T$， 观测值序列可以表示成 $Y=y_1,y_2,...,y_T$。那么隐马尔科夫模型有如下三种主要的操作：

1. 估计 $P(Y|\lambda )$

2. ${\lambda }_{MLE}=\underset{\lambda }{\mathrm{argmax}}P(Y|\lambda )$

3. $\underset{Q}{\mathrm{argmax}}P(Y|Q,\lambda )$

我们先看看如何估计$P(Y|\lambda )$，用普通的方法计算就可以得到：
$$P(Y|\lambda )=\sum _Q[P(Y,Q|\lambda )]=\sum _{q_1=1}^k...\sum _{q_T=1}^k[P(y_1,...,y_T,q_1,...,q_T|\lambda )]$$
按照上面的推导，我们可以将 $P(Y|\lambda )$ 写成：
$$P(Y|\lambda )=\sum _{q_1=1}^k...\sum _{q_T=1}^{k}P(q_1)P(y_1|q_1)P(q_2|q_1)...P(q_t|q_{t-1})P(y_t|q_t)$$
用转移概率矩阵元素和发射概率矩阵中的元素表示可以写成：
$$P(Y|\lambda )=\sum _{q_1=1}^k...\sum _{q_T=1}^k\pi (q_1)\prod _{t=2}^T{a}_{q_{t-1,}{q}_t}\cdot b_{q_t}(y_t)$$
在转移概率矩阵和发射概率矩阵中：
$$P(q_t=j|q_{t-1}=i)=a_{i,j}$$
$$P(y_t|q_t=j)=b_j(y_t)$$
按照上述的表达式计算，要计算整个的 $P(Y|\lambda )$，整个表达式的计算量达到了 $k^T$，这无疑是一个巨大的挑战，我们如何简化整个表达式的计算呢？答案是我们可以把整个的时间序列拆分开来，拆分成向前和向后两个部分，每个部分表示一个联合的概率，看成一个整体，就不用考虑局部的概率是怎么样了，整个的时间序列图如下所示，隐藏的信息我用比较浅的颜色标明了：

我们为什么要设计一个这样的架构呢，因为用这个通用的模型可以表达任意的状态下的时间序列的条件概率，方便我们的计算。首先我们来看前向部分，我们把前向部分称为 ${\alpha }_i(t)$，表示在 $t$时刻前面所有的时间序列观测值和隐状态的一个联合概率，看做是一个整体，数学表达式为：
$${\alpha }_i(t)=P(y_1,y_2,...,y_t,q_t=i|\lambda )$$
反向部分表示在 $t$ 时刻的状态 $i$ 的情况下，也就是前向部分的联合概率情况下，出现 观测序列 $y_t+1,...,y_T$ 的概率，数学表达式为：
$${\beta }_i(t)=P(y_{t+1},...,y_T|q_t=i,\lambda )$$
这么看大家可能有点懵逼，我们先来推导前向的部分吧，首先我们看看前向过程表示在状态 $i$ 的时候前面观测值序列的联合概率，总的序列长度为 $T$，那么总的序列 $Y$ 出现的概率可以表示成：
$${\alpha }_i(t)=P(y_1,y_2,...,y_t,q_t=i|\lambda )\Rightarrow P(Y|\lambda )=\sum _{i=1}^k{\alpha }_i(T)$$
为了理解这个 ${\alpha }_i(t)$ 的表达式，我们可以进行一步步递推，首先我们来看 $t=1$ 和 $t=2$ 时候的 ${\alpha }_i(t)$ 吧：
$${\alpha }_i(1)=P(y_1,q_1=i|\lambda )=P(q_1)P(y_1|q_1)={\pi }_i{b}_i(y_1)$$
$$\begin{gathered} {\alpha }_j(2)=P(y_1,y_2,q_2=j|\lambda )=\sum _{i=1}^{k}P(q_1=i)P(y_1|q_1=i)P(q_2=i|q_1=i)P(y2|q_2=j) \\ =[\sum _{i=1}^k{\alpha }_i(1)\cdot a_{i,j}]\cdot b_j(y_2) \end{gathered}$$
我们将 ${\alpha }_j(2)$ 这个表达式分成三部分来看，第一项 $P(q_1=i)P(y_1|q_1=i)$ 就是 ${\alpha }_i(1)$，第二项 $P(q_2=i|q_1=i)$ 就是我们的转移概率 $a_{i,j}$，第三项 $P(y2|q_2=j)$ 就是在 $q_2$ 状态下的发射概率，所以$P(y2|q_2=j)=b_j(y_2)$，这么拆分来看就比较容易理解了，所以 ${\alpha }_i(1)$ 和 ${\alpha }_j(2)$ 的递推关系就是：
$${\alpha }_j(2)=[\sum _{i=1}^k{\alpha }_i(1)\cdot a_{i,j}]\cdot b_j(y_2)$$
所以我们依据这个递推关系，可以推及到一般形式：
$${\alpha }_j(t+1)=[\sum _{i=1}^k{\alpha }_i(t)\cdot a_{i,j}]\cdot b_j(y_{t+1})$$
序列最后的 $T$ 时刻的表达式为：
$${\alpha }_j(T)=[\sum _{i=1}^k{\alpha }_i(T-1)\cdot a_{i,j}]\cdot b_j(y_T)$$
这么一来 $P(Y|\lambda )=\sum _{i=1}^k{\alpha }_i(T)$ 就是 $k\cdot T$ 项求和，相比之前的指数项，这种算法简化了很多。
同样的道理，我们可以用同样的方法来对反向部分进行推导，只不过反向部分是从后往前进行递归推导的，道理和前向部分的是相同的，具体看下面的表达式推导：
$${\beta }_i(t)=P(y_{t+1},...,y_T|q_t=i,\lambda )\Rightarrow \sum _{i=1}^k{\beta }_i(1){\pi }_i{b}_i(y_1)=P(Y|\lambda )$$
所以我们可以推导在 $t$ 时刻 状态 $i$ 的时候，出现观测序列 $y_{t+1},y_{t+2},...,y_T$ 的概率：
$${\beta }_i(T)=1$$ $${\beta }_i(T-1)=P(y_T|q_{T-1}=i)=\sum _{j=1}^{k}P(q_T=j|q_{T-1}=i)P(y_T|q_T=j)=\sum _{j=1}^k{a}_{i,j}\cdot b_j(T)$$ $$\begin{gathered} {\beta }_i(T-2)=P(y_{T-1},y_T|q_{T-2}=i) \\ =\sum _{j=1}^k\sum _{l=1}^{k}P(q_T=l|q_{T-1}=j)P(y_T|q_T=l)\cdot P(q_{T-1}=j|q_{T-2}=i)\cdot P(y_{T-1}|q_{T-1}=j) \\ =\sum _{j=1}^k{a}_{i,j}\cdot b_j(y_{T-1})\cdot {\beta }_j(T-1) \end{gathered}$$
上述表达式中，第一项 $\sum _{l=1}^{k}P(q_T=l|q_{T-1}=j)$ 表示 ${\beta }_j(T-1)$，第二项 $P(q_{T-1}=j|q_{T-2}=i)$ 表示转移概率 $a_{i,j}$， 第三项 $P(y_{T-1}|q_{T-1}=j)$ 表示发射概率 $b_j(y_{T-1})$。到这里就有了递推的关系，我们可以推及一般的形式：
$${\beta }_i(t)=\sum _{j=1}^k{a}_{i,j}\cdot b_j(y_{t+1})\cdot {\beta }_j(t+1)$$
一直可以递推到 $T=1$ 的时候：
$${\beta }_i(1)=\sum _{j=1}^k{a}_{i,j}\cdot b_j(y_2)\cdot {\beta }_j(2)$$
有了上面这些推导，我们可以得到在观测序列 $Y$ 和时刻 $t$ 已知的情况下，在状态 $i$ 下的概率：
$$P(q_t=i|Y,\lambda )=\frac{P(Y,q_t=i|\lambda )}{P(Y|\lambda )}=\frac{P(Y,q_t=i|\lambda )}{\sum _{j=1}^{k}P(Y,q_t=i|\lambda )}=\frac{{\alpha }_i(t){\beta }_i(t)}{\sum _{j=1}^k{\alpha }_j(t){\beta }_j(t)}$$
中间这一步 $P(Y|\lambda )=\sum _{j=1}^{k}P(Y,q_t=i|\lambda )$ 这一步其实就是我们给概率中加上一个中间的隐含变量 $q_t=i$，然后通过求和来把它去掉，等式就成立了；还有一个就是分子是如何推导的呢？如下是推导的过程：
$$P(Y,q_t\text{ = }i|\lambda )=P(Y|q_t=i)\cdot P(q_t=i)=P(y_1,...,y_t|q_t=i)\cdot P(y_{t+1},...,y_T|q_t=i)\cdot P(q_t=i)$$
首先我们把整个表达式的观测值拆分成 $y_1,...,y_t$ 和 $y_{t+1},...,y_T$ 两个部分，然后我们将 $P(q_t=i)$ 这一项乘到前面第一项中去可以得到：
$$P(Y,q_t\text{ = }i|\lambda )=P(y_1,...,y_t,q_t=i)\cdot P(y_{t+1},...,y_T|q_t=i)$$
由上述的推导过程，最终我们可以得到：
$$P(Y,q_t\text{ = }i|\lambda )={\alpha }_i(t)\cdot {\beta }_i(t)$$
那么最终上述表达式都比较容易理解了。好了，到了这一步，我们先歇一歇，我们看看我之前的一篇博文EM算法理解与推导 ，在这篇博文中，最终得到了EM算法最终的结果：
$${\theta }^{(g+1)}=\underset{\theta }{\mathrm{argmax}}[Q(\theta ,{\theta }^{(g)})]=\underset{\theta }{\mathrm{argmax}}(\underset{Z}{\int }\log (P(X,Z|\theta ))P(Z|X,{\theta }^{(g)})dz)$$
在上述公式中，我们的观测值 $Y$ 对应上述表达式的 $X$，隐变量 $Q$ 对应的是 $Z$，那么在HMM模型中，我们将EM公式可以改写成：
$${\lambda }^{(g+1)}=\underset{\lambda }{\mathrm{argmax}}(\underset{Q}{\int }\log (P(Y,Q|\lambda ))\cdot P(Q|Y,{\lambda }^{(g)})dQ)$$
因为此表达式乘以一个 $P(Y|{\lambda }^{(g)})$ 是不会影响结果 ${\lambda }^{(g+1)}$ 的 ，所以整个表达式可以变换成：
$${\lambda }^{(g+1)}=\underset{\lambda }{\mathrm{argmax}}(\underset{Q}{\int }\log (P(Y,Q|\lambda ))\cdot P(Q,Y|{\lambda }^{(g)})dQ)$$
到这一步没毛病吧各位老铁，我们继续对这个积分式进行展开，根据之前的推导，我们可以知道：
$$\begin{gathered} \underset{Q}{\int }\log (P(Y,Q|\lambda ))\cdot P(Q,Y|{\lambda }^{(g)})dQ \\ =\sum _{q_0=1}^k...\sum _{q_T=1}^k(\log {\pi }_0+\sum _{t=1}^T\log a_{q_{t-1,}{q}_t}+\sum _{t=1}^T\log b_{q_t}(y_t))\cdot P(q,Y|{\lambda }^{(g)}) \end{gathered}$$
是不是又懵逼了，其实就是最开始我们推导的递归表达式，最终分成了三项。这三项肯定是无法直接进行计算的，那么我们分别把三项单独计算，就比较方便计算了，我们来看第一项：
$$Q^{term1}=\sum _{q_0=1}^k...\sum _{q_T=1}^k\log {\pi }_{q_0}P(q,Y|{\lambda }^{(g)})=\sum _{i=1}^k\log {\pi }_{i}P(q_0=i,Y|{\lambda }^{(g)})$$
我们的目的是求解 $\arg \max (Q^{term1})$ ，首先我们就会想到拉格朗日乘子法，这个算法我们在SVM算法推导的时候经常用到，具体可以参考我之前的一篇博文SVM手动推导，有了最大化的目标函数，我们还差一个限制条件啊，仔细一想，所有状态出现的概率值之和等于1，也就是说$\sum _{i=1}^k{\pi }_i=1$，这样我们就可以得到拉格朗日乘子的表达式，为了区分拉格朗日乘子中的约束项系数与本文中的参数$\lambda$，我们用 $\tau$ 来代替拉格朗日乘子中的约束项系数，那么对于第一项来说，拉格朗日乘子表达式可以写成：
$$L{M}^{term1}=\sum _{i=1}^k\log {\pi }_{i}P(q_0=i,Y|{\lambda }^{(g)})+\tau (\sum _{i=1}^k{\pi }_i-1)$$
到了这一步，我们还是使用老的方法，对这个表达式进行求偏导操作：
$$\frac{\partial L{M}^{term1}}{\partial {\pi }_i}=\frac{P(q,Y|{\lambda }^{(g)})}{{\pi }_i}+\tau =0$$ $$\frac{\partial L{M}^{term1}}{\partial \tau }=\sum _{i=1}^k{\pi }_i-1=0$$
可以推导出：
$$P(q_0=i,Y|{\lambda }^{(g)})=-\tau {\pi }_i$$
将等式两边进行累加，去掉无关的变量：
$$\sum _{i=1}^{k}P(q_0=i,Y|{\lambda }^{(g)})=-\tau \sum _{i=1}^k{\pi }_i=-\tau$$
最终我们可以求出：
$${\pi }_i=\frac{P(q_0=i,Y|{\lambda }^{(g)})}{-\tau }\Rightarrow {\pi }_i=\frac{P(q_0=i,Y|{\lambda }^{(g)})}{\sum _{i=1}^{k}P(q_0=i,Y|{\lambda }^{(g)})}$$
这么一来，我们通过第一项的表达式就可以求出 ${\pi }_i$ 的值。接下来我们再看第二项表达式，第二项表达式可以写成：
$$\begin{gathered} Q^{term2}=\sum _{q_0=1}^k...\sum _{q_T=1}^k\sum _{t=1}^k\log a_{q_{t-1},q_t}\cdot P(q,Y|{\lambda }^{(g)}) \\ =\sum _{i=1}^k\sum _{j=1}^k\sum _{t=1}^k\log a_{i,j}\cdot P(q_{t-1}=i,q_t=j,Y|{\lambda }^{(g)}) \end{gathered}$$
因为这一项涉及到状态转移概率，所以我们这一项的约束条件是状态转移概率矩阵中的每一行元素之和为1，所以约束条件可以写成：$\sum _{i=1}^k{\tau }_i(\sum _{j=1}^k{a}_{i,j}-1)=0$，那么完整的拉格朗日表达式可以写成：
$$L{M}^{term2}=\sum _{i=1}^k\sum _{j=1}^k\sum _t^T\log a_{i,j}\cdot P(q_{t-1}=i,q_t=j,Y|{\lambda }^{(g)})+\sum _{i=1}^k{\tau }_i(\sum _{j=1}^k{a}_{i,j}-1)$$
我们对此拉格朗日表达式求偏导可以得到：
$$\frac{\partial L{M}^{term2}}{\partial a_{i,j}}=\frac{\sum _{t=1}^{T}P(q_{t-1}=i,q_t=j,Y|{\lambda }^{(g)})}{a_{i,j}}+\sum _{i=1}^k{\tau }_i=0$$ $$\frac{\partial L{M}^{term2}}{\partial {\tau }_i}=\sum _{i=1}^k{a}_{i,j}-1=0$$
由前面这个表达式可以得到：
$$\sum _{t=1}^{T}P(q_{t-1}=i,q_t=j,Y|{\lambda }^{(g)})=-a_{i,j}\sum _{i=1}^k{\tau }_i\Rightarrow a_{i,j}=\frac{\sum _{t=1}^{T}P(q_{t-1}=i,q_t=j,Y|{\lambda }^{(g)})}{-\sum _{i=1}^k{\tau }_i}$$
将上述表达式两边同时求和，就可以求出 $\sum _{i=1}^k{\tau }_i$ ，计算过程如下所示：
$$\sum _{j=1}^k\sum _{t=1}^{T}P(q_{t-1}=i,q_t=j,Y|{\lambda }^{(g)})=\sum _{j=1}^k-a_{i,j}\sum _{i=1}^k{\pi }_i=-\sum _{j=1}^k{a}_{i,j}\sum _{i=1}^k{\pi }_i$$
因为在转移概率矩阵中，每一行元素之和等于1，所以：
$$-\sum _{j=1}^k{a}_{i,j}\sum _{i=1}^k{\pi }_i=-\sum _{i=1}^k{\pi }_i$$
将这个值带入到之前的表达式中：
$$a_{i,j}=\frac{\sum _{t=1}^{T}P(q_{t-1}=i,q_t=j,Y|{\lambda }^{(g)})}{\sum _{j=1}^k\sum _{t=1}^{T}P(q_{t-1}=i,q_t=j,Y|{\lambda }^{(g)})}$$
在这个表达式中，我们看到分母中 $q_t=j$ 可以通过求和将其去掉，那么最终的结果是：
$$a_{i,j}=\frac{\sum _{t=1}^{T}P(q_{t-1}=i,q_t=j,Y|{\lambda }^{(g)})}{\sum _{t=1}^{T}P(q_{t-1}=i,Y|{\lambda }^{(g)})}$$
剩最后一项了，有了前面的推导计算，最后一项的计算也是同样的算法，首先是第三项的表达式：
$$Q^{term3}=\sum _{q_0=1}^k...\sum _{q_T=1}^k\sum _{t=1}^T\log b_{q_t}(y_t)P(q,Y|{\lambda }^{(g)})=\sum _{j=1}^k\sum _{t=1}^T\log b_j(y_t)P(q_t=j,Y|{\lambda }^{(g)})$$
因为每一种状态的发射概率之和等于1，所以第三项的拉格朗日乘子表达式可以写成：
$$L{M}^{term3}=\sum _{j=1}^k\sum _{t=1}^T\log b_j(y_t)P(q_t=j,Y|{\lambda }^{(g)})+\tau (\sum _{j=1}^k{b}_j(y_t)-1)$$
同样的，我们再来对此拉格朗日表达式求偏导：
$$\frac{\partial L{M}^{term3}}{\partial b_j(y_t)}=\frac{\sum _{t=1}^{T}P(q_t=j,Y|{\lambda }^{(g)})}{b_j(y_t)}+k\tau =0$$ $$\frac{\partial L{M}^{term3}}{\partial \tau }=\sum _{i=1}^k{b}_j(y_t)-1=0$$
由前面这个表达式可以得到：
$$\sum _{t=1}^{T}P(q_t=j,Y|{\lambda }^{(g)})=-b_j(y_t)\tau \Rightarrow b_j(y_t)=\frac{\sum _{t=1}^{T}P(q_t=j,Y|{\lambda }^{(g)})}{-\tau }$$
我们再把这个表达式两边求和：
$$\sum _{l=1}^k\sum _{t=1}^{T}P(q_t=j,Y=v_l|{\lambda }^{(g)})=-\tau \sum _{l=1}^k{b}_j(y_t=v_l)=-\tau$$
最后我们将 $\tau$ 的结果带入到上述表达式中可以得到最终的发射概率结果：
$$b_j(y_t=v_l)=\frac{\sum _{t=1}^{T}P(q_t=j,Y=v_l|{\lambda }^{(g)})}{\sum _{j=1}^k\sum _{t=1}^{T}P(q_t=j,Y=v_l|{\lambda }^{(g)})}$$
讲到这里，我们的隐马尔科夫模型算法就推导完了，虽然过程比较复杂，但是慢慢推导还是比较容易理解的，希望这篇HMM算法的推导能帮助大家理解隐马尔科夫模型。文中如有纰漏，也请读者不吝指教；如有转载，请注明出处，谢谢大家。