PRML读书笔记——顺序数据

本章的注意力集中在数据点不是独立同分布的情况。具体来说，集中在沿着时间序列进行的测量数据。

顺序分布分为静止的和非静止的两种。在静⽌分布中，数据会随着时间发⽣变化，但是⽣成数据的概率分布保持不变。对于更复杂的⾮静⽌分布的情形，⽣成概率本⾝会随着时间变化。这⾥关注的是静⽌分布。

这一章主要讲解隐马尔科夫模型和线性动态系统。它们都是马尔科夫模型衍生出来的，区别是如果潜在变量是离散的，模型变成了隐马尔科夫模型，潜在变量是连续且服从高斯分布的，模型变成线性动态系统。这两个模型的推导和求解非常相似，这里主要介绍隐马尔科夫模型，线性动态系统的推导和预测也与它相似，但由于是高斯模型，推导过程其实会变得比较复杂，本人也没太看懂，所以此处不作介绍

马尔科夫模型

对于一个观测序列，我们用概率的乘积规则来表⽰它的联合概率分布

$$p(x_{1},...,x_{N})=p(x_{1})\prod_{n=2}^{N}p(x_{n}|x_{1},...,x_{n-1})$$

假设右侧的每个条件概率分布只与最近的⼀次观测有关，⽽独⽴于其他所有之前的观测，那么就得到了⼀阶马尔科夫链。

$$p(x_{1},...,x_{N})=p(x_{1})\prod_{n=2}^{N}p(x_{n}|x_{n-1})$$

虽然这⽐独⽴的模型要⼀般⼀些，但是仍然⾮常受限。对于许多顺序的观测来说，预计若⼲个连续观测的数据的趋势会为下⼀次预测提供重要的信息。⼀种让更早的观测产⽣影响的⽅法是使⽤⾼阶的马尔科夫链。如二阶马尔科夫链。

$$p(x_{1},...,x_{N})=p(x_{1})p(x_{2}|x_{1})\prod_{n=3}^{N}p(x_{n}|x_{n-1},x_{n-2})$$

然而，这种阶数的增长是有代价的，模型的参数会随阶数的增长而指数增长。

我们希望构造任意阶数的不受马尔科夫假设限制的序列模型，同时能够使⽤较少数量的⾃由参数确定。引⼊额外的潜在变量使得更丰富的⼀类模型能够从简单的成分中构建。现在我们引入如下图依赖关系的隐变量$z_{n}$

则模型对应得到联合概率分布为：

$$p(x_{1},...x_{N},z_{1},...,z_{N})=p(z_{1})\left [ \prod_{n=2}^{N}p(z_{n}|z_{n-1}) \right ]\prod_{n=1}^{N}p(x_{n}|z_{n})$$

用d-划分准则的观点分析，总存在⼀个路径通过潜在变量连接了任意两个观测变量$x_{n}$和$x_{m}$，并且这个路径永远不会被阻隔。因此对于观测变量$x_{n+1}$来说，给定所有之前的观测，条件概率分布$p(x_{n+1}|x_{1},...,x_{n})$不会表现出任何的条件独⽴性。

隐马尔科夫模型

模型介绍

基本假设：

(1) 齐次马尔科夫假设：假设隐藏的马尔科夫链在任意时刻t的状态只依赖其前一时刻的状态，与其他时刻的状态和观测无关，也与时刻t无关

(2) 观测独立性假设：假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测和状态无关

这个模型中，潜在变量$z_{n}$是离散的。它有三个重要的概率，即转移概率（转移概率矩阵用A表示），初始概率（初始概率矩阵用$\pi$表示）和生成观测变量的概率（用$\phi$表示）

我们假设$z_{n}$服从多项式分布，并让它通过条件概率分布$p(z_{n}|z_{n-1})$对前一个潜在变量$z_{n-1}$产生依赖。假设由于潜在变量是K维⼆值变。则转移矩阵A满足$A_{jk}\equiv p(z_{nk}=1|z_{n-1,j}=1)$，且$0\leq A_{jk}\leq 1$，$\sum_{k}A_{jk}=1$。则转移概率可以写成：

$$p(z_{n}|z_{n-1},A)=\prod_{k=1}^{K}\prod_{j=1}^{K}A_{jk}^{z_{n-1,j}z_{nk}}$$

初始结点的概率用$\pi$，其元素为$\pi\equiv p(z_{k}=1)$，即

$$p(z_{1}|\pi)=\prod_{k=1}^{K}\pi_{k}^{z_{1k}}$$

对于生成观测变量的概率，可以表示如下，其中，$\phi$是控制概率分布的参数集合。

$$p(x_{n}|z_{n},\phi)=\prod_{k=1}^{K}p(x_{n}|\phi_{k})^{z_{nk}}$$

因此，观测变量和潜在变量的联合概率分布为：

$$p(X,Z|\theta)=p(z_{1}|\pi)\left [ \prod_{n=2}^{N}p(z_{n}|z_{n-1},A) \right ]\prod_{m=1}^{N}p(x_{m}|z_{m},\phi)$$

其中，$X=\left \{ x_{1},...,x_{N} \right \}$是观测变量，$Z=\left \{ z_{1},...,z_{N} \right \}$是隐变量，而$\theta=\left \{ \pi,A,\phi \right \}$是控制模型参数的集合。

最大似然求解（学习问题）

学习问题是指给定观测序列，想预测模型的参数$\theta=\left \{ \pi,A,\phi \right \}$，看看哪些参数是最有可能的模型

如果我们观测到⼀个数据集$X=\left \{ x_{1},...,x_{N} \right \}$，那么我们可以使⽤最⼤似然法确定HMM的参数。似然函数通过对联合概率分布中的潜在变量进⾏求和的⽅式得到，即

$$p(X|\theta)=\sum _{Z}p(X,Z|\theta)$$

下面通用EM算法求解。开始阶段是对模型参数的某些初始的选择，我们记作$\theta^{old}$。在E步骤中，我们使⽤这些参数找到潜在变量的后验概率分布$p(Z | X, \theta^{old})$。然后，我们使⽤这个后验概率分布计算完整数据似然函数的对数的期望，得到了⼀个关于参数$\theta$的函数$Q(\theta, \theta^{old})$，定义为：

$$Q(\theta,\theta^{old})=\sum_{Z}p(Z|X,\theta^{old})ln\ p(X,Z|\theta)$$

为了方便表示，定义：

$$r(z_{n})=p(z_{n}|X,\theta^{old})$$

$$\xi (z_{n-1},z_{n})=p(z_{n-1},z_{n}|X,\theta^{old})$$

进一步定义，如下：

$$r(z_{nk})=p(z_{nk}=1|X, \theta^{old})=E[z_{nk}]=\sum_{z_{n}}r(z)z_{nk}$$

$$\xi (z_{n-1,j},z_{nk})=E[z_{n-1,j}z_{nk}]=\sum_{z_{n-1},z_{n}}\xi (z_{n-1},z_{n})z_{n-1,j}z_{nk}$$

现在，我们将所有的公式整理，得到Q的结果：

$$\begin{eqnarray} Q(\theta,\theta^{old})&=&\sum_{Z}r(z_{n})ln\left \{ p(z_{1}|\pi)\left [ \prod_{n=2}^{N}p(z_{n}|z_{n-1},A) \right ]\prod_{m=1}^{N}p(x_{m}|z_{m},\phi) \right \} \\ &=&\sum_{Z}r(z_{n})ln\ p(z_{1}|\pi)+\sum_{Z}r(z_{n})\sum_{n=2}^{N}ln\ p(z_{n}|z_{n-1},A)+\sum _{Z}r(z_{n})\sum_{m=1}^{N}ln\ p(x_{m}|z_{m},\phi)\\ &=&\sum _{Z}r(z_{n})ln\ \prod_{k=1}^{K}\pi_{k}^{z_{1k}}+\sum _{Z}r(z_{n})\sum_{n=2}^{N}ln\ \prod_{k=1}^{K}\prod_{j=1}^{K}A_{jk}^{z_{n-1,j}z_{nk}}+\sum _{Z}r(z_{n})\sum_{m=1}^{N}ln\ \prod_{k=1}^{K}p(x_{n}|\phi_{k})^{z_{nk}} \\ &=&\sum _{Z}r(z_{n})\sum_{k=1}^{K}z_{1k}ln\ \pi_{k}+\sum _{Z}r(z_{n})\sum_{n=2}^{N}\sum_{k=1}^{K}\sum_{j=1}^{K}z_{n-1,j}z_{nk}ln\ A_{jk}+\sum _{Z}r(z_{n})\sum_{m=1}^{N}\sum _{k=1}^{K}z_{nk}ln\ p(x_{n}|\phi_{k}) \\ &=&\sum _{k=1}^{K}r(z_{1k})ln\ \pi_{k}+\sum_{n=2}^{N}\sum_{j=1}^{K}\sum_{k=1}^{K}\xi (z_{n-1,j},z_{nk})ln\ A_{jk}+\sum_{n=1}^{N}\sum_{k=1}^{K}r(z_{nk})ln\ p(x_{n}|\phi_{k}) \end{eqnarray}$$

现在，E步骤的目标是高效的计算$r(z_{n})$和$\xi(z_{n-1},z_{n})$，后面前向后向算法中说明。M步骤是关于参数$\theta=\left \{ \pi,A,\phi \right \}$最大化$Q(\theta, \theta^{old})$，其中，将$r(z_{n})$和$\xi(z_{n-1},z_{n})$看做常数。

用拉格朗日乘子法求得(这个各个参数都是转移函数，即是概率的形式，存在约束)：

$$\pi_{k}=\frac{r(z_{1k})}{\sum_{j=1}^{K}r(z_{1j})}$$

$$A_{jk}=\frac{\sum_{n=2}^{K}\xi (z_{n-1,j},z_{nk})}{\sum_{l=1}^{K}\sum_{n=2}^{N}\xi (z_{n-1,j},z_{nl})}$$

对于$\phi_{k}$，只有最后一项依赖于它，这⼀项的形式与独⽴同分布数据的标准混合分布的对应的函数中的数据依赖项完全相同。我们可以简单地最⼤化发射概率密度$p(x | \phi_{k})$的加权的对数似然函数，权值为$r(z_{nk})$。假设发射密度函数是高斯的，即$p(x|\phi_{k})=N(x|u_{k},\Sigma_{k})$，则最大化Q得：

$$u_{k}=\frac{\sum_{n=1}^{N}r(z_{nk})x_{n}}{\sum_{n=1}^{N}r(z_{nk})}$$

$$\Sigma_{k}=\frac{\sum_{n=1}^{N}r(z_{nk})(x_{n}-u_{k})(x_{n}-u_{k})^{T}}{\sum_{n=1}^{N}r(z_{nk})}$$

不同的先验分布，观测概率分布$p(x | \phi_{k})$会是不同的结果。

前向后向算法

这个算法主要是高效计算刚刚E步骤所需得$r(z_{n})$和$\xi(z_{n-1},z_{n})$。

首先考虑$r(z_{n})$

$$\begin{eqnarray} r(z_{n})&=&p(z_{n}|X)\\ &=&\frac{p(X|z_{n})p(z_{n})}{p(X)}\\ &=&\frac{p(x_{1},...,x_{n},z_{n})p(x_{n+1},...,x_{N}|z_{n})}{p(X)}\\ &=&\frac{\alpha (x_{n})\beta (x_{n})}{p(X)} \end{eqnarray}$$

这里，定义了

$$\alpha (z_{n})\equiv p(x_{1},...,x_{n},z_{n})$$

$$\beta (z_{n})\equiv p(x_{n+1},...,x_{N}|z_{n})$$

而$\xi(z_{n-1},z_{n})$又可以表示为：

$$\begin{eqnarray} \xi (z_{n-1},z_{n})&=&p(z_{n-1},z_{n}|X)\\ &=&\frac{p(X|z_{n-1},z_{n})p(z_{n-1},z_{n})}{p(X)}\\ &=&\frac{p(x_{1},...,x_{n-1}|z_{n-1})p(x_{n}|z_{n})p(x_{n+1},...,x_{N}|z_{n})p(z_{n}|z_{n-1})p(z_{n-1})}{p(X)} \\ &=&\frac{\alpha (z_{n-1})p(x_{n}|z_{n})p(z_{n}|z_{n-1})\beta(z_{n})}{p(X)} \end{eqnarray}$$

这里$p(x_{n}|z_{n})$是发射概率$\phi$，$p(z_{n}|z_{n-1})$是转移概率$A$，因此，只需知道$\alpha (z_{n})$和$\beta (z_{n})$，就可以求得$\xi$。

下面，只需要探索高效求取$\alpha (z_{n})$和$\beta (z_{n})$即可。

前向传播：

$$\begin{eqnarray} \alpha(z_{n}) &=&p(x_{1},...,x_{n},z_{n})\\ &=&p(x_{1},...,x_{n}|z_{n})p(z_{n})\\ &=&p(x_{n}|z_{n})p(x_{1},...,x_{n-1}|z_{n})p(z_{n})\\ &=&p(x_{n}|z_{n})p(x_{1},...,x_{n-1},z_{n})\\ &=&p(x_{n}|z_{n})\sum _{z_{n-1}}p(x_{1},...,x_{n-1},z_{n-1},z_{n})\\ &=&p(x_{n}|z_{n})\sum _{z_{n-1}}p(x_{1},...,x_{n-1},z_{n}|z_{n-1})p(z_{n-1})\\ &=&p(x_{n}|z_{n})\sum _{z_{n-1}}p(x_{1},...,x_{n-1}|z_{n-1})p(z_{n}|z_{n-1})p(z_{n-1})\\ &=&p(x_{n}|z_{n})\sum _{z_{n-1}}p(x_{1},...,x_{n-1},z_{n-1})p(z_{n}|z_{n-1}) \end{eqnarray}$$

则得到对应的前向递推公式：

$$\alpha (z_{n})=p(x_{n}|z_{n})\sum _{z_{n-1}}\alpha (z_{n-1})p(z_{n}|z_{n-1})$$

其中

$$\alpha (z_{1})=p(x_{1},z_{1})=p(z_{1})p(x_{1}|z_{1})=\prod_{k=1}^{K}\left \{ \pi_{k}p(x_{1}|\phi_{k}) \right \}^{z_{1k}}$$

后向传播：

$$\begin{eqnarray} \beta (z_{n}) &=&p(x_{n+1},...,x_{N}|z_{n})\\ &=&\sum _{z_{n+1}}p(x_{n+1},...,x_{N},z_{n+1}|z_{n})\\ &=&\sum _{z_{n+1}}p(x_{n+1},...,x_{N}|z_{n},z_{n+1})p(z_{n+1}|z_{n})\\ &=&\sum _{z_{n+1}}p(x_{n+1},...,x_{N}|z_{n+1})p(z_{n+1}|z_{n})\\ &=&\sum _{z_{n+1}}p(x_{n+2},...,x_{N}|z_{n+1})p(x_{n+1}|z_{n+1})p(z_{n+1}|z_{n}) \end{eqnarray}$$

则得到对应的后向递推公式：

$$\beta (z_{n})=\sum _{z_{n+1}}\beta (z_{n+1})p(x_{n+1}|z_{n+1})p(z_{n+1}|z_{n})$$

其中

$$p(z_{N}|X)=\frac{p(X,z_{n})\beta (z_{N})}{p(X)}$$

这里得到的结果其实也可以用图模型的角度去分析，通过构造因子图得到前向后向传播的递推关系，结果将和上面一致。这里省略

缩放因子

上面的递推其实还存在问题，因为$\alpha (z_{n})$和$\beta (z_{n})$的递推式是概率连乘的形式，在递推过程中会不断减小，指数地趋于零。因此需要一个归一化版本的结果。

归一化版本：

$$\widehat{\alpha }(z_{n})=p(z_{n}|x_{1},...,x_{n})=\frac{\alpha (z_{n})}{p(x_{1},...,p(x_{n}))}$$

$$\widehat{\beta }(z_{n})=\frac{p(x_{n+1},...,x_{N}|z_{n})}{p(x_{n+1},...,x_{N}|x_{1},...,x_{n})}$$

我们定义：

$$c_{n}=p(x_{n}|x_{1},...,x_{n-1})$$

则：

$$p(x_{1},...,x_{n})=\prod_{m=1}^{n}c_{m}$$

因此：

$$\alpha (z_{n})=p(z_{n}|x_{1},...,x_{n})p(x_{1},...,x_{n})=\left ( \prod_{m=1}^{n}c_{m} \right )\widehat{\alpha }(z_{n})$$

前向递推公式为：

$$c_{n}\widehat{\alpha }(z_{n})=p(x_{n}|z_{n})\sum _{z_{n-1}}\widehat{\alpha }(z_{n-1})p(z_{n}|z_{n-1})$$

同理

$$\beta (z_{n})=\left ( \prod_{m=n+1}^{N}c_{m} \right )\widehat{\beta }(z_{n})$$

后向递推公式为：

$$c_{n+1}\widehat{\beta }(z_{n})=\sum _{z_{n+1}}\widehat{\beta }(z_{n+1})p(x_{n+1}|z_{n+1})p(z_{n+1}|z_{n})$$

对应的$r(z_{n})$和$\xi(z_{n-1},z_{n})$为：

$$r(z_{n})=\widehat{\alpha }(z_{n})\widehat{\beta }(z_{n})$$

$$\xi (z_{n-1},z_{n})=c_{n}^{-1}\widehat{\alpha }(z_{n-1})p(x_{n}|z_{n})p(z_{n}|z_{n-1})\widehat{\beta }(z_{n})$$

预测问题

分析预测问题，有：

$$\begin{eqnarray} p(x_{N+1}|X)&=&\sum _{z_{N+1}}p(x_{N+1},z_{N+1}|X)\\ &=&\sum _{z_{N+1}}p(x_{N+1}|z_{N+1})p(z_{N+1}|X)\\ &=&\sum _{z_{N+1}}p(x_{N+1}|z_{N+1})\sum _{z_{N}}p(z_{N+1},z_{N}|X)\\ &=&\sum _{z_{N+1}}p(x_{N+1}|z_{N+1})\sum _{z_{N}}p(z_{N+1}|z_{N})p(z_{N}|X)\\ &=&\sum _{z_{N+1}}p(x_{N+1}|z_{N+1})\sum _{z_{N}}p(z_{N+1}|z_{N})\frac{p(z_{N},X)}{p(X)}\\ &=&\frac{1}{p(X)}\sum _{z_{N+1}}p(x_{N+1}|z_{N+1})\sum _{z_{N}}p(z_{N+1}|z_{N})\alpha (z_{N}) \end{eqnarray}$$

维特比算法（对应解码问题）

所谓解码问题，是指给定的观测序列，寻找概率最⾼的隐含状态序列。这个问题可以使⽤最⼤加和算法⾼效地求出，这个算法在隐马尔科夫模型中被称为维特⽐算法。

这部分看得不是很懂，个人理解来看，维特比算法其实就是动态规划，如果我们知道第n-1个时刻，在K个状态下，分别对应观测的最大概率的状态序列$\left \{ z_{1,k},...z_{n-1,k} \right \}$，那么下一时刻，对应观测的最大概率的状态序列，必然是由这K个状态下的，对应观测的最大概率的状态序列衍生出来的，所以，第n-1个时刻，我们只需要保留K个状态下对应的最大概率序列（K个序列）。第n时刻也一样，这就将运算复杂度从$O(K^{N})$转为$O(NK)$。