自然语言处理笔记 第五章 条件随机场与序列标注

自然语言处理笔记

自然语言处理(NLP)笔记 第一章 词典分词-CSDN博客

自然语言处理笔记 第二章 二元语法与中文分词-CSDN博客

自然语言处理笔记 第三章 隐马尔科夫模型与序列标注-CSDN博客

自然语言处理 第四章 感知机分类与序列标注-CSDN博客

自然语言处理笔记 第五章 条件随机场与序列标注-CSDN博客

自然语言处理笔记 第六章 词性标注-CSDN博客

自然语言处理笔记 第七章 命名实体识别-CSDN博客

机器翻译综述-CSDN博客

领域词性标注-CSDN博客

---

生成式与判别式

判别式：

判别式模型直接学习决策函数 或者条件概率 ，不能反映训练数据本身的特性，但它寻找不同类别之间的最优分裂面，反映的是异类数据之间的差异，直接面对预测往往学习准确度更高。

生成式：

生成式模型学习的是联合概率密度分布   ，能够反映同类数据本身的相似度，它不关心到底划分不同类的边界在哪里。生成式模型的学习收敛速度更快，当样本容量增加时，学习到的模型可以更快的收敛到真实模型，当存在隐变量时，依旧可以用生成式模型，此时判别式方法就不行了。

判别式       生成式

概率图模型：用来表示与推断多维随机变量联合分布𝑝(𝒙,𝒚)的强大框架

利用节点𝑉表示随机变量，边𝐸连接有关联的随机变量

可以将图可以分解为子图，分布、简化分析

有向概率图：可以表示事件因果

 某一节点发生概率为其所有前驱节点概率之积：

                                            （π(v) 表示节点v 的所有前驱节点）

无向概率图：不在意因果关系，仅在意是否有关

最大团：满足所有节点相互连接的最大子图，图中最大团是全部的三个节点

无向图模型定义了一些虚拟的因子节点，使最大团变小。

图中最大团是虚线的两两节点

无向图模型将多维随机变量的联合分布分解为一系列最大团中的因子之积

条件随机场

条件随机场是用来标注和划分序列结构数据的概率化结构模型（图模型）。结合了最大熵模型和隐马尔可夫模型的特点，是一种无向图模型。

用于序列标注时，条件随机场特例化为线性链条件随机场

条件随机场的特征函数 与结构化感知机的特征函数 完全一致；结构化感知机对某预测打分越高，条件随机场给予该预测的概率也越大

条件随机场训练略

结构化感知机与条件随机场的异同

 条件随机场是当前F1最优的一种