CRF和HMM

CRF 和 HMM 的比较

1. CRF是无向图模型，HMM是有向图模型
2. HMM是生成式模型，CRF是判别式模型

朴素贝叶斯
$$p(y\mid \vec{x})\propto p(y,\vec{x})=p(y)\prod _{i=1}p\left(x_i\mid y\right)$$

判别式模型
判别模型是直接对P(Y|X)建模，就是说，直接根据X特征来对Y建模训练；具体地，训练过程是确定构件 P(Y|X) 模型里面“复杂映射关系”中的参数，完了再去inference一批新的sample

特征

• 对P(Y|X)建模
• 对所有的样本只构建一个模型，确认总体判别边界
• 观测到输入什么特征，就预测最可能的label
• 另外，判别式的优点是：对数据量要求没生成式的严格，速度也会快，小数据量下准确率也会好些。

判别式模型有：LR, SVM, PERCEPTRON, DT

在模型训练中，我学习到的是X与Y的联合模型 P(X, Y)，也就是说，我在训练阶段是只对 P(X, Y)建模，我需要确定维护这个联合概率分布的所有的信息参数。完了之后在inference再对新的sample计算P(Y|X) ，导出 Y ,但这已经不属于建模阶段了。

结合NB过一遍生成式模型的工作流程。学习阶段，建模：P(X, Y)=P(X|Y)P(Y) ）,然后 $P(Y\mid X)=\frac{P(X,Y)}{P(X)}$

生成式模型特点

• 对P(X, Y)建模
• 这里我们主要讲分类问题，所以是要对每个label（ $y_i$ ）都需要建模，最终选择最优概率的label为结果，所以没有什么判别边界。
• 生成式模型的优点在于，所包含的信息非常齐全，所以不仅可以用来输入label，还可以干其他的事情。生成式模型关注结果是如何产生的。但是生成式模型需要非常充足的数据量以保证采样到了数据本来的面目，所以速度相比之下，慢。

生成式模型有：NB, LDA