HMM/CRF

1. overview

note:

• 最大熵模型：是一种log linear模型（log（wTf（x））），f（x）是exponential function，所以加上log后变成linear模型。
  log linear模型定义：A log-linear model is a mathematical model that takes the form of a function whose logarithm equals a linear combination of the parameters of the model, which makes it possible to apply (possibly multivariate) linear regression. 举个例子：x遵从多维高斯分布。在给定方差和均值的情况下，高斯分布的熵最大，也就是说高斯分布是随机性最高最平均的一种分布。
  
  
• 朴素贝叶斯模型：P（x given y） = product of P（xi given y）
  在given y的基础上，各个x是相互独立的。y = 0 or 1因为朴素贝叶斯是为了解决一个分类问题。
• 隐马尔可夫模型：当y不再是一个需要被预测的target而是一个需要被预测的sequence时，NB就成了HMM。x间相互独立，x只取决于与其对应的y，y只取决于上一轮的y。
• 高斯混合模型：P（x given y）是高斯分布，y是离散随机变量 = 1，2，…， k
  
• MEMM: 一个判别模型，综合了HMM和MEM，打破了观测独立假设。
• CRF：把隐藏状态之间的“有向”变为无向，为了解决“局部概率分布需要归一化”的问题，变成了“全局归一化”。

2. CRF