轻松入门自然语言处理系列 13 无向图模型与标记偏置

前言

本文主要介绍了无向图模型与标记偏置，包括有向图与无向图模型、无向图与有向图中联合概率表示和MEMM和标记偏置（Label Bias Problem）。

一、有向图与无向图模型

1.生成模型与判别模型

生成模型和判别模型是两种不同类型的模型，在构造时采用了不同的方法来训练。一个训练好的生成模型可以生成一些新的样本数据（例如生成文本、歌曲、图片等），同时也可以用于判别，不仅记住了不同类别之间的区别，还记住了各个类别的具体特征；判别模型只能用于判别、不能用于生成数据，只是记住了不同类别之间的区别。

从机器学习的角度来看：对于生成模型，是最大化特征X和标签y的联合概率；而对于判别模型，是最大化特征X和标签y的条件概率。如下：

当数据量较少的时候，生成模型有可能表现优于判别模型，这是因为生成模型本身可以理解为加入了先验，对模型过拟合起到一定的作用。

2.有向图与无向图

HMM模型是一种生成式的时序模型。条件随机场（Conditional Random Field）模型是一个判别式时序模型。条件随机场广泛应用于NLP的应用如词性分析、命名实体识别、实体抽取等任务，具有较好的效果。为了更好地理解条件随机场，需要弄清楚不同模型之间的关系，如朴素贝叶斯、逻辑回归、HMM、条件随机场、贝叶斯网络等。