文章目录
前言
本文主要介绍了无向图模型与标记偏置,包括有向图与无向图模型、无向图与有向图中联合概率表示和MEMM和标记偏置(Label Bias Problem)。
一、有向图与无向图模型
1.生成模型与判别模型
生成模型和判别模型是两种不同类型的模型,在构造时采用了不同的方法来训练。一个训练好的生成模型可以生成一些新的样本数据(例如生成文本、歌曲、图片等),同时也可以用于判别,不仅记住了不同类别之间的区别,还记住了各个类别的具体特征;判别模型只能用于判别、不能用于生成数据,只是记住了不同类别之间的区别。
从机器学习的角度来看:对于生成模型,是最大化特征X和标签y的联合概率;而对于判别模型,是最大化特征X和标签y的条件概率。如下:
当数据量较少的时候,生成模型有可能表现优于判别模型,这是因为生成模型本身可以理解为加入了先验,对模型过拟合起到一定的作用。