机器学习算法：隐马尔可夫算法

隐马尔可夫算法

适用问题：标注问题的统计学习模型
模型类型：生成模型
模型特点：观测序列与状态序列联合概率分布模型
学习策略：极大似然估计、极大后验概率估计
学习的损失函数：对数似然函数
学习算法：概率计算公式、EM算法

总结：
1.隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态的序列，再由各个状态随机生成个观测序列的过程.
隐马尔可夫模型由初始状态概率向量n、状态转移概率矩阵A和观测概率矩阵B决定.因此，隐马尔可大模型可以写成h=(A,B,n).
隐马尔可夫模型是一个生成模型，表示状态序列和观测序列的联合分布，但是状态序列是隐藏的，不可观测的.
隐马尔可夫模型可以用于标注，这时状态对应着标记标注问题是给定观测序列预测其对应的标记序列.
2.概率计算问题.给定模型h=(A,B,n)和观测序列O= (01,02,03),计算在模型A下观测序列0出现的概率P(O|h).前向-后向算法是通过递推地计算前向-后向概率可以高效地进行隐马尔可夫模型的概率计算.
3.学习问题.已知观测序列O= (01,02,03)，估计模型h=(A,B,n)参数，使得在该模型下观测序列概率P(O|h)最大.即用极大似然估计的方法估计参数. Baum-Welch算法，也就是EM算法可以高效地对隐马尔可夫模型进行训练.它是一种非监督学习算法，
4.预测问题.已知模型h=(A, B,n)和观测序列O= (01,02,03),求对给定观测序列条件概率P(I|0)最大的状态序列I.维特比算法应用动态规划高效地求解最优路径，即概率最大的状态序列.

思想：
隐