数据挖掘——马尔科夫模型

HWW算法

1. 马尔科夫模型

一个马尔科夫过程是状态间的转移仅依赖于前$\mathcal{N}$个状态的过程。这个过程被称之为$\mathcal{N}$阶马尔科夫模型，其中$\mathcal{N}$是影响下一个状态选择的状态数量。最简单的马尔科夫过程是一阶模型，它的状态选择仅与前一个状态有关。这里要注意它与确定性系统并不相同，因为下一个状态的选择由相应的概率决定，并不是确定性的。
定义一个一阶马尔科夫过程如下：

• 状态：三个状态——晴天，多云，雨天。
• $\Pi$ 向量：定义系统初始化时每一个状态的概率。
• 状态转移矩阵：给定前一天天气情况下的当前天气概率。

 

---

2. 隐马尔科夫模型

包含了一个底层隐藏的随时间改变的马尔科夫过程，以及一个与隐藏状态某种程度相关的可观察到的状态集合。

我们使用一个隐马尔科夫模型（HMM）对这些例子建模。这个模型包含两组状态集合和三组概率集合：

• 隐藏状态：一个系统的（真实）状态，可以由一个马尔科夫过程进行描述（例如，天气）
• $\Pi$ 向量：包含了（隐）模型在时间t=1时一个特殊的隐藏状态的概率（初始概率）
• 状态转移矩阵：包含了一个隐藏状态到另一个隐藏状态的概率
• 观察状态：在这个过程中‘可视’的状态（例如，海藻的湿度）
• 混淆矩阵：包含了给定隐马尔科夫模型的某一个特殊的隐藏状态，观察到的某个观察状态的概率

公式化：
一个隐马尔科夫模型是一个三元组（pi, A, B）:

• $\Pi =({\pi }_i)$ ：初始化概率向量
• $A=(a_{ij})$ : 状态转移矩阵 $Pr(x_{i_t}|x_{j_{t-1}})$
• $B=(b_{ij})$ : 混淆矩阵 $Pr(y_i|x_j)$

2.1. 需要解决的问题：

• （评估）： 给定HMM，求一个观察序列的概率。—— 前向算法
• （解码）： 给定HMM，搜索最有可能生成一个观察序列的隐藏状态序列。—— Viterbi 算法
• （学习）： 给定观察序列，生成一个HMM。—— Baum-Welch算法

2.2. 前向算法：

已知HMM的参数和观察到的状态序列为 $O$ ，求产生该状态序列的概率：设 ${\alpha }_t(j)$ 表示 $t$ 时刻隐藏状态为 $j$ 的概率， ${\beta }_t(k)$ 表示 $t$ 时刻观察状态为 $j$ 的概率。
$${\alpha }_t(j)=P(o_1,...,o_t,S_t=j|\lambda )$$

$${\alpha }_t(j)=\{\begin{array}{l}{\sum }_{i=1}^n{\alpha }_{t-1}(i)a_{ji},t>1\\ {\pi }_j,t=1\end{array}$$

$${\beta }_t(k)=\sum _{i=1}^n{\alpha }_t(i)b_{ki}$$

2.3. Viterbi 算法：

已知HMM的参数和观察到的状态序列为 $O$，求最可能产生该状态序列的隐藏序列 $S$，即要找到这样的隐藏序列，使得下面的后验概率最大：
$$\begin{array}{rl}P(S|O)& =\frac{P(S)P(O|S)}{P(O)}\\ & ={\pi }_{s_1}{b}_{o_1{s}_1}\prod _{t=2}^T{a}_{s_t{s}_{t-1}}{b}_{o_t{s}_t}\end{array}$$
设 ${\alpha }_t(j)$ 表示 $t$ 时刻隐藏状态为 $j$ 时，从某个隐藏状态序列产生观察序列 $O$ 的最大概率：
$${\alpha }_t(j)=\{\begin{array}{l}\underset{i}{\max }({\alpha }_{t-1}(i)a_{ji}{b}_{o_{t}j}),t>1\\ {\pi }_j{b}_{o_{t}j},t=1\end{array}$$
不断迭代，算出所有的 ${\alpha }_t(j)$ ，同时记录每个 ${\alpha }_t(j)$ 对应的上一个时刻的隐藏状态。算到最后一个时刻时，取最大的 ${\alpha }_T(j)$ 并回溯得到隐藏序列。

2.4. Baum-Welch算法：

对于给定的观测序列 $O$ ，如何估计模型参数使得 $P(O|\lambda )$ 最大。对于该问题，目前还没有能找到全局最优解的方法，但是Baum-Welch算法能找到局部最优。
前向概率：
$${\alpha }_t(j)=P(o_1,...,o_t,s_t=j|\lambda )$$
后向概率：
$${\beta }_t(j)=P(o_{t+1},...,o_T|s_t=j,\lambda )$$
则：
$$\begin{array}{rl}P(O,s_t=j|\lambda )& =P(o_1,...,o_t,o_{t+1},...,o_T,s_t=j|\lambda )\\ & =P(o_1,...,o_t,s_t=j|\lambda )P(o_{t+1},...,o_T|o_1,...,o_t,s_t=j,\lambda )\\ & =P(o_1,...,o_t,s_t=j|\lambda )P(o_{t+1},...,o_T|s_t=j,\lambda )\\ & ={\alpha }_t(j){\beta }_t(j)\end{array}$$

要使如下概率最大
$$P(O|\lambda )=\sum _{S}P(O,S|\lambda )P(S|\lambda )$$

• EM算法E步：
  $$Q(\lambda ,\hat{\lambda })=\sum _{S}logP(O,S|\lambda )P(O,S|\hat{\lambda })$$
  其中，$\hat{\lambda }$ 是隐马尔可夫模型参数的当前估计值，$\lambda$ 是要极大化的隐马尔可夫模型参数。
  由于$P(O,S|\lambda )={\pi }_{s_1}{b}_{o_1{s}_1}{\prod }_{t=2}^T{a}_{s_t{s}_{t-1}}{b}_{o_t{s}_t}$，则$Q(\lambda |\hat{\lambda })$ 可展开为：
  $$\begin{array}{rl}Q(\lambda ,\hat{\lambda })& =\sum _{S}log{\pi }_{s_1}P(O,S|\hat{\lambda })\\ & +\sum _S(\sum _{t=2}^{T}log{a}_{s_t{s}_{t-1}})P(O,S|\hat{\lambda })\\ & +\sum _S(\sum _{t=1}^{T}log{b}_{o_t{s}_t})P(O,S|\hat{\lambda })\end{array}$$

• EM算法M步：
  利用拉格朗日和偏导可得：
  $${\pi }_j=\frac{P(O,s_1=j|\hat{\lambda })}{P(O|\hat{\lambda })}$$
  $$a_{ij}=\frac{{\sum }_{t=2}^{T}P(O,s_t=i,s_{t-1}=j|\hat{\lambda })}{{\sum }_{t=2}^{T}P(O,s_{t-1}=j|\hat{\lambda })}$$
  $$b_{kj}=\frac{{\sum }_{t=1}^{T}P(O,s_t=j|\hat{\lambda })I(o_t=k)}{{\sum }_{t=1}^{T}P(O,s_t=j|\hat{\lambda })}$$

HMM学习笔记（二）：监督学习方法与Baum-Welch算法