用隐马尔可夫模型推测女朋友心情(Ⅱ)：求心情序列与事件序列的联合概率

上一期，王同学凭着自己对女友的了解，预估了$\pi$、$A$、$B$，三个参数矩阵的取值。过去一周，通过与女友聊天，王同学了解到女友从周一到周日晚上做的事情分别为：看书、看剧、跑步、看书、看剧、逛商超、看剧。他想用这个观测序列预测女友这周的心情。
要预测女友的心情，换说话说，就是要求最大概率的心情序列，即，求某一心情序列，它与事件序列的联合概率最大。

循序渐进地解决问题，我们先考虑如何求心情序列与做事序列的联合概率，再考虑如何求最大概率。

假设王同学根据事件序列：{看书，看剧，跑步，看书，看剧，逛商超，看剧}，凭直觉给出了女友的心情序列：{正常，正常，不开心，正常，开心，开心，正常}，现在，如何求这两个序列的联合概率。

为表示方便，给出如下符号定义：
$x_i$：第i天的事件，$i\in [1,7]$。
$y_i$：第i天的心情，$i\in [1,7]$。

于是，上述序列的联合概率可表示为：
$P([y_1,y_2,y_3,\dots ,y_7],[x_1,x_2,x_3,\dots ,x_7])$

先来张示意图，直观感受一下：

图-1 隐马尔可夫示意图

图-1显示了每个时刻状态$y$的取值和事件$x$的取值。
为方便查询，将上一期的三张参数表也放这里。

表-1 初始状态概率分布 π

	正常	开心	不开心
	0.7	0.2	0.1

表-2 状态转移概率分布 A

	正常	开心	不开心
正常	0.5	0.3	0.2
开心	0.4	0.5	0.1
不开心	0.6	0.1	0.3

表-3 发射概率分布 B

	看书	逛商超	跑步	看剧
正常	0.4	0.1	0.2	0.3
开心	0.2	0.5	0.1	0.2
不开心	0.1	0.1	0.6	0.2

现在，我们看着图-1来计算每个时刻的概率乘积。
(1) $t=1$时，没有前驱状态，发生的概率由$\pi$决定，即求$P(y_1=正常)$，查表-1得，$P(y_1=正常)={\pi }_1$。当 { y 1 = 正常 } \{y_{1}=正常\} {y1​=正常}时， { x 1 = 看书 } \{x_{1}=看书\} {x1​=看书}的概率由发射概率矩阵$B$决定。查表-3得，$P(x_1=看书|y_1=正常)=B_{11}$。所以，$t=1$时的概率乘积为，
$${\pi }_1\cdot B_{11}$$
(2) $t=2$时，状态$y_2$由前驱状态$y_1$转移而来，其发生的概率由矩阵$A$决定，查表-2得，$P(y_2=正常|y_1=正常)=A_{11}$。当 { y 2 = 正常 } \{y_{2}=正常\} {y2​=正常}时， { x 2 = 看剧 } \{x_{2}=看剧\} {x2​=看剧}的概率由发射概率矩阵$B$决定。查表-3得，$P(x_2=看剧|y_2=正常)=B_{14}$。所以，$t=2$时的概率乘积为，
$$A_{11}\cdot B_{14}$$
(3) 以此类推，得到其它时刻的概率乘积。
(4) 最后，可得7天的概率乘积，也就是心情序列和事件序列的联合概率，
$$\begin{array}{c}\begin{array}{rl}P([y_1,y_2,y_3,\dots ,y_7],[x_1,x_2,x_3,\dots ,x_7])=& {\pi }_1\cdot B_{11}\\ & \cdot A_{11}\cdot B_{14}\\ & \cdot A_{13}\cdot B_{33}\\ & \cdot A_{31}\cdot B_{11}\\ & \cdot A_{12}\cdot B_{24}\\ & \cdot A_{22}\cdot B_{22}\\ & \cdot A_{21}\cdot B_{14}\end{array}\end{array}$$

由式(1)可以看出，联合概率=初始时刻的概率×每个时刻的状态转移概率×每个时刻的发射概率。
为表述方便，用向量$\mathbf{y}$表示状态序列 { y 1 , y 2 , y 3 , … , y T } \{y_{1},y_{2},y_{3}, \dots,y_{T}\} {y1​,y2​,y3​,…,yT​}，用向量$\mathbf{x}$表示事件序列 { x 1 , x 2 , x 3 , … , x T } \{x_{1},x_{2},x_{3}, \dots,x_{T}\} {x1​,x2​,x3​,…,xT​}，
由马尔可夫条件独立假设知，当前时刻的状态只与前一时刻状态相关，于是有，
$$\begin{array}{c}\begin{array}{rl}P(\mathbf{y})& =P(y_1)\cdot P(y_2|y_1)\cdot P(y_3|y_2)\dots P(y_T|y_{T-1})\\ & =P(y_1)\prod _{t=2}^{T}P(y_t|y_{t-1})\end{array}\end{array}$$
当给定$\mathbf{y}$，对应事件序列发生的概率为：$P(\mathbf{x}|\mathbf{y})={\prod }_{t=1}^{T}P(x_t|y_t)$。所以序列$\mathbf{y}$与序列$\mathbf{x}$的联合概率为：

$$\begin{array}{c}\begin{array}{rl}P(\mathbf{x},\mathbf{y})& =P(\mathbf{y})P(\mathbf{x}|\mathbf{y})\\ & =P(y_1)\prod _{t=2}^{T}P(y_t|y_{t-1})\prod _{t=1}^{T}P(x_t|y_t)\end{array}\end{array}$$

将本例中状态转移概率和发射概率代入式(3)，就可求得心情序列与事件序列的联合概率。

现在问题来了，心情有三种情况，七天的心情序列共有$3^7$种情况。王同学想找到的是概率最大的那个序列。如果一个个试过去，太花时间了，下一期我们一起讨论更好的方法。