CRF和HMM

CRF和HMM比较
CRF是生成模型，HMM是判别模型
HMM模型中存在两个假设：一是输出观察值之间严格独立（观察独立性假设），二是状态的转移过程中当前状态只与前一状态有关(齐次马尔科夫假设)

HMM是假定满足HMM独立假设。CRF没有，所以CRF能容纳更多上下文信息
CRF计算的是全局最优解，不是局部最优值
CRF是给定观察序列的条件下，计算整个标记序列的联合概率。而HMM是给定当前状态，计算下一个状态。
CRF比较依赖特征的选择和特征函数的格式，并且训练计算量大

HMM：隐马尔可夫 模型，它一般以文本序列数据输入，以该序列对应的隐含序列为输出

HMM模型运行过程

HMM模型表示为llambda=HMM（A,B,pi）其中A,B，pi都是模型的参数，分别称为：转移概率矩阵，发射概率矩阵和初始概率矩阵

开始训练HMM模型，语料就是事先准备好的一定数量的观测序列及其对应的隐含序列，通过极大似然估计求得一组参数，得到观察序列对应隐含序列概率最大

在训练过程中，为了简化计算，马尔科夫提出一种假设，隐含序列中每个单元的可能性只与上一个单元有关，这个假设就是著名的隐含假设

训练后，就得到了具备预测能力的新模型，lambda=HMM(A,B,pi),其中的模型参数已经改变

然后给定输入序列(x1,x2,xn)经过模型计算lambda(x1,x2,xn)得到对应隐含序列的条件概率分布

最后，使用维特比算法 从隐含序列的条件概率分布中找出概率最大的一条序列路径就是我们需要的隐含序列（y1,y2...yn）

CRF模型：条件随机场， 同HMM一样, 它一般也以文本序列数据为输入, 以该序列对应的隐含序列为输出

CRF模型运行过程

CRF模型表示为lambda=CRF(w1,w2,wn)，其中w1，wn是模型参数
开始训练CRF模型，语料同样是事先准备好的一定数量的观测序列及其对应的隐含序列
通过训练求得一组参数，使观测序列对隐含序列的概率最大

训练后，得到具备预测能力的新模型，lambda=CRF(w1,w2,wn),其中的模型参数已经改变
之后给定输入序列(x1,x2,xn)经过模型计算lambda(x1,x2,xn)得到对应隐含序列的条件概率分布
最后，还是使用维特比算法从隐含序列的条件概率分布中找出概率最大的一条序列路径就是需要隐含序列(y1,y2,y3)