隐马尔科夫模型（HMM）与线性动态系统（LDS）

在我们通常考虑的问题，都是希望假设数据之间是独立的，但有这样一类数据，他们之间有很明显的时序关系，比如天气预报，文字输入等，当把模型建立成独立时，无疑损失了很多有价值的信息。因此我们需要一些模型将时序关系表征在模型里，得到对数据更加准确地描述。HMM和LDS是其中相当经典的模型，在各自领域都有大量应用。
读者可以去我的github阅读一份将HMM用于NER识别的代码，欢迎star，欢迎fork

HMM

马尔可夫模型的缺陷

处理顺序数据的最简单的⽅式是忽略顺序的性质，将观测看做独⽴同分布。然⽽，这种⽅法⽆法利⽤数据中的顺序模式，例如序列中距离较近的观测之间的相关性。例如，假设我们观测⼀个⼆值变量，这个⼆值变量表⽰某⼀天是否下⾬。给定这个变量的⼀系列观测，我们希望预测下⼀天是否会下⾬。如果我们将所有的数据都看成独⽴同分布的，那么我们能够从数据中得到的唯⼀的信息就是⾬天的相对频率。然⽽，在实际⽣活中，我们知道天⽓经常会呈现出持续若⼲天的趋势。因此，观测到今天是否下⾬对于预测明天是否下⾬会有极⼤的帮助。

为了在概率模型中表⽰这种效果，我们需要放松独⽴同分布的假设。完成这件事的⼀种最简单的⽅式是考虑马尔科夫模型（Markov model）。⾸先我们注意到，不失⼀般性，我们可以使⽤概率的乘积规则来表⽰观测序列的联合概率分布，形式为
$$p\left({\mathbf{x}}_1,\dots ,{\mathbf{x}}_N\right)=p\left({\mathbf{x}}_1\right)\prod _{n=2}^{N}p\left({\mathbf{x}}_n|{\mathbf{x}}_1,\dots ,{\mathbf{x}}_{n-1}\right)$$

如果我们现在假设右侧的每个条件概率分布只与最近的⼀次观测有关，⽽独⽴于其他所有之前的观测，那么我们就得到了⼀阶马尔科夫链（first-order Markov chain）。这个模型中，N次观测的序列的联合概率分布为
$$p\left({\mathbf{x}}_1,\dots ,{\mathbf{x}}_N\right)=p\left({\mathbf{x}}_1\right)\sum _{n=2}^{N}p\left({\mathbf{x}}_n|{\mathbf{x}}_{n-1}\right)$$

虽然这⽐独⽴的模型要⼀般⼀些，但是仍然⾮常受限。对于许多顺序的观测来说，我们预计若⼲个连续观测的数据的趋势会为下⼀次预测提供重要的信息。⼀种让更早的观测产⽣影响的⽅法是使⽤⾼阶的马尔科夫链。如果我们允许预测除了与当前观测有关以外，还与当前观测的前⼀次观测有关，那么我们就得到了⼆阶马尔科夫链。然⽽，这种增长的灵活性是有代价的，因为现在模型中参数的数量要多得多。假设观测是具有K个状态的离散变量，那么⼀阶马尔科夫链中的条件概率分布$p\left({\mathbf{x}}_n|{\mathbf{x}}_{n-1}\right)$由K -1个参数指定，每个参数都对应于$x_{n-1}$的K个状态，因此参数的总数为K(K - 1)。现在假设我们将模型推⼴到M阶马尔科夫链，从⽽联合概率分布由条件概率分布$p\left({\mathbf{x}}_n|{\mathbf{x}}_{n-M},\dots ,{\mathbf{x}}_{n-1}\right)$构建。如果变量是离散变量，且条件概率分布使⽤⼀般的条件概率表的形式表⽰，那么这种模型中参数的数量为$K^M(K-1)$。

隐马尔可夫模型

假设我们希望构造任意阶数的不受马尔科夫假设限制的序列模型，同时能够使⽤较少数量的⾃由参数确定。我们可以引⼊额外的潜在变量来使得更丰富的⼀类模型能够从简单的成分中构建，正如我们在第9章讨论混合概率分布和第12章讨论连续潜在变量模型时所做的那样。对于每个观测$x_n$，我们引⼊⼀个对应的潜在变量$z_n$（类型或维度可能与观测变量不同）。我们现在假设潜在变量构成了马尔科夫链，得到的图结构被称为状态空间模型（state space model），它满⾜下⾯的关键的条件独⽴性质，即给定$z_n$的条件下，$z_{n_1}$和$z_{n+1}$是独⽴的，从而
$$z_{n+1}\perp z_{n-1}|z_n$$
于是可以得到观测变量和潜变量的联合分布：
$$p\left({\mathbf{x}}_1,\dots ,{\mathbf{x}}_N,{\mathbf{z}}_1,\dots ,{\mathbf{z}}_N\right)=p\left({\mathbf{z}}_1\right)\left[\prod _{n=2}^{N}p\left({\mathbf{z}}_n|{\mathbf{z}}_{n-1}\right)\right]\prod _{n=1}^{N}p\left({\mathbf{x}}_n|{\mathbf{z}}_n\right)$$
使⽤d-划分准则，我们看到总存在⼀个路径通过潜在变量连接了任意两个观测变量$x_n$和$x_m$，并且这个路径永远不会被阻隔。因此对于观测变量$x_{n+1}$来说，给定所有之前的观测，条件概率分布$p\left({\mathbf{x}}_{n+1}|{\mathbf{x}}_1,\dots ,{\mathbf{x}}_n\right)$不会表现出任何的条件独⽴性，因此我们对xn+1的预测依赖于所有之前的观测。
对于顺序数据来说。如果潜在变量是离散的，那么我们得到了隐马尔科夫模型（hidden Markov model）或者HMM（Elliott et al., 1995）。注意，HMM中的观测变量可以是离散的或者是连续的，并且可以使⽤许多不同的条件概率分布进⾏建模。如果潜在变量和观测变量都是⾼斯变量（结点的条件概率分布对于⽗结点的依赖是线性⾼斯的形式），那么我们就得到了线性动态系统（linear dynamical system）。

潜在变量是离散的服从多项分布的变量$z_n$，描述了那个混合分量⽤于⽣成对应的观测$x_n$。⽐较⽅便的做法是使⽤1-of-K表⽰⽅法。 我们现在让$z_n$的概率分布通过条件概率分布$p\left(z_n|z_{n-1}\right)$对前⼀个潜在变量$z_{n_1}$产⽣依赖。由于潜在变量是K维⼆值变量，因此条件概率分布对应于数字组成的表格，记作A，它的元素被称为转移概率（transition probabilities）。元素为$A_{jk}\equiv p\left(z_{nk}=1|z_{n-1,j}=1\right)$。由于它们是概率值，因此满⾜$0\le A_{jk}\le 1$且
${\sum }_k{A}_{jk}=1$，从⽽矩阵A有K(K -1)个独⽴的参数。
这样，我们可以显式地将条件概率分布写成
$$p\left(z_n|z_{n-1},A\right)=\prod _{k=1}^K\prod _{j=1}^K{A}_{jk}^{z_{n-1,j}{z}_{nk}}$$

初始潜在结点$z_1$很特别，因为它没有⽗结点，因此它的边缘概率分布$p(z_1)$由⼀个概率向
量$\pi$表⽰，元素为${\pi }_k\equiv p\left(z_{1k}=1\right)$，即
$$p\left(z_1|\pi \right)=\prod _{k=1}^K{\pi }_k^{z_{1k}}$$

可以通过定义观测变量的条件概率分布p(xn j zn;ϕ)来确定⼀个概率模型，其中ϕ是控制概率分布的参数集合。这些条件概率被称为发射概率（emission probabilities），可以是⾼斯分布（x是连续变量），也可以是条件概率表格（x是离散变量）。由于$x_n$是观测值，因此对于⼀个给定的ϕ值，概率分布$p\left({\mathbf{x}}_n|{\mathbf{z}}_n,\mathbf{\varphi }\right)$由⼀个K维的向量组成，对应于⼆值向量$z_n$的K个可能的状态。我们可以将发射概率表⽰为

$$p\left({\mathbf{x}}_n|{\mathbf{z}}_n,\mathbf{\varphi }\right)=\prod _{k=1}^{K}p{\left({\mathbf{x}}_n|{\mathbf{\varphi }}_k\right)}^{z_{nk}}$$

我们将注意⼒集中在同质的（homogeneous）模型上，其中所有控制潜在变量的条件概率分布都共享相同的参数$A$，类似地所有发射概率分布都共享相同的参数$\varphi$

马尔可夫模型参数的确立

如果我们观测到⼀个数据集 X = { x 1 , … , ∣ x N } \boldsymbol { X } = \left\{ \boldsymbol { x } _ { 1 } , \ldots , | \boldsymbol { x } _ { N } \right\} X={ x1​,…,∣xN​}，那么我们可以使⽤最⼤似然法确定HMM的参数。似然函数通过对联合概率分布中的潜在变量进⾏求和的⽅式得到，即
$$p(\mathbf{X}|\mathbf{\theta })=\sum _{Z}p(\mathbf{X},Z|\mathbf{\theta })$$
很自然地，我们希望用EM算法求参数地极大似然。
$$Q\left(\mathbf{\theta },{\mathbf{\theta }}^{旧}\right)=\sum _{Z}p(Z|\mathbf{X},{\mathbf{\theta }}^{旧})\ln p(\mathbf{X},\mathbf{Z}|\mathbf{\theta })$$
为了方便，我们引入两个符号：（注意这两个都是向量）
$$\begin{array}{rl}\gamma \left({\mathbf{z}}_n\right)& =p\left({\mathbf{z}}_n|\mathbf{X},{\mathbf{\theta }}^{旧}\right)\\ \xi \left({\mathbf{z}}_{n-1},{\mathbf{z}}_n\right)& =p\left({\mathbf{z}}_{n-1},{\mathbf{z}}_n|\mathbf{X},{\mathbf{\theta }}^{旧}\right)\end{array}$$
⽤$z_{nk}$来表⽰$z_{nk}=1$的条件概率，类似地使⽤$\xi \left(z_{n-1,j},z_{nk}\right)$来表⽰后⾯介绍的另⼀个概率。
γ ( z n k ) = E [ z n k ] = ∑ z n γ ( z n ) z n k ξ ( z n − 1 , j , z n k ) = E [ z n − 1 , j z n k ] = ∑ z n − 1 , z n ξ ( z n − 1 , z n ) z n − 1 , j z n k \begin{aligned} \gamma \left( z _ { n k } \right) &amp;= \mathbb { E } \left[ z _ { n k } \right] = \sum _ { z _ { n } } \gamma ( z_n ) z _ { n k }\\ \xi \left( z _ { n - 1 , j } , z _ { n k } \right) &amp;= \mathbb { E } \left[ z _ { n - 1 , j } z _ { n k } \right] = \sum _ { z _ { n - 1 } , z _ { n } } \xi \left( z _ { n - 1 } , z _ { n } \right) z _ { n - 1 , j } z _ { n k }\end{aligned} γ(znk​)ξ(zn−1,j​,znk​)​=E[znk​]=zn​∑​γ(zn​)znk​=E[zn−1,j<