《统计学习方法》读书笔记——第十章 隐马尔可夫模型

写在前面

本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。

---

本章框架

隐马尔可夫模型

隐马尔可夫模型是关于时序的模型，由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列， 再由各个状态生成一个观测而产生观测随机序列。由三个要素确定：初始概率分布、状态转移概率分布以及观测概率分布，可写为。

两个假设：

• “齐次马尔可夫性假设，即假设隐藏的马尔可夫链在任意时刻t的状态只依赖于其前一时刻的状态”

• “观测独立性假设，即假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他观测及状态无关。”

三个基本问题：

• 概率计算问题（根据模型和观测序列，计算观测序列出现的概率）
• 学习问题（根据观测序列估计模型参数）
• 预测问题（根据模型和观测序列，求最有可能的状态序列）

概率计算算法

• 直接计算

根据状态序列求观测序列出现的概率，计算量大不可行

• 前向算法

前向算法实际是基于“状态序列的路径结构”递推计算P(O|)的算法，借助前向概率（特定的当前状态和以前的观测序列出现的概率）：

• 后向算法

借助后向概率（特定的当前状态和以后的观测序列出现的概率）：

学习算法

监督学习：利用极大似然估计

非监督学习：Baum-Welch算法，可由EM算法实现

预测算法

维特比算法：应用动态规划思想，递推地求出最优路径（概率最大的状态序列）。先根据时刻由前到后得到路径的最大概率，再由后到前进行最优路径回溯。

---

补充知识点

动态规划算法复习

见我自己曾经写的leetcode记录