【NLP】-概率模型

1. HMM-隐马尔科夫模型

具有马尔科夫属性的概率有向图

1.1 两个空间三组参数

状态空间：隐状态S的取值范围
观测空间：观测状态O的取值范围
发射概率：初始状态的概率分布，记做π
转移概率：不同状态之间的转移概率，可以用转移矩阵表示，记做a
输出概率：基于当前状态，不同输出的概率分布，记做b
模型参数λ = (a, b, π)

1.2 两个假设

1、 齐次假设：即马尔科夫假设
2、 观测独立性假设：观测值只取决于对应的状态值，与其他状态无关
1.3 三个问题
1、 概率计算：已知模型参数λ求某个观测序列O的概率
2、 预测：已知模型参数和观测序列O，求最有可能的隐状态序列
3、 学习：已知观测序列O(或者还要状态序列S)，对参数进行估计

2、三个问题的计算方法

2.1 概率计算-前、后向算法

两种方法从本质上讲都是动态规划，他们可以分别用来求解p(O|λ)
前向算法：