马尔可夫模型与条件随机场模型

https://blog.csdn.net/s151506879/article/details/51912595

 

条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型。它在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题。条件随机场模型既具有判别式模型的优点,又具有产生式模型考虑到上下文标记间的转移概率,以序列化形式进行全局参数优化和解码的特点,解决了其他判别式模型(如最大熵马尔科夫模型)难以避免的标记偏置问题。

    条件随机场理论（CRFs）可以用于序列标记、数据分割、组块分析等自然语言处理任务中。在中文分词、中文人名识别、歧义消解等汉语自然语言处理任务中都有应用，表现很好。目前基于 CRFs 的主要系统实现有CRF，FlexCRF，CRF++。 缺点：训练代价大、复杂度高

 

机器学习方法的两种分类：产生式模型和判别式模型

假定输入x, 类别标签y

—   产生式模型（生成模型）估计联合概率 P(x, y), 因可以根据联合概率来生成样本：HMMs

 —  判别式模型（判别模型）估计条件概率 P(y|x), 因为没有x的知识，无法生成样本，只能判断分类: SVMs,CRF,MEM

一个举例：

    (1,0), (1,0), (2,0), (2, 1)
产生式模型：

    p(x, y)：
    P(1, 0) = 1/2, P(1, 1) = 0, P(2, 0) = 1/4, P(2, 1) = 1/4.

判别式模型：
    P(y|x)：
    P(0|1) = 1, P(1|1) = 0, P(0|2) = 1/2, P(1|2) = 1/2

o和s分别代表观察序列和标记序列

—产生式模型

—     构建o和s的联合分布p(s,o)；

—判别式模型

—     构建o和s的条件分布p(s|o)；

—产生式模型中，观察序列作为模型的一部分；判别式模型中，观察序列只作为条件，因此可以针对观察序列设计灵活的特征。

  

一般认为判别型模型要好于生成型模型，因为它是直接根据数据对概率建模，而生成型模型还要先求两个难度相当的概率

概率图模型，用图的形式表示概率分布。

  

—  当然，这些随机变量之间可能有依赖关系，一般来说，也只有当这些变量之间有依赖关系的时候，我们将其单独拿出来看成一个随机场才有实际意义。

—具有马尔科夫性质

—体现了一个思想：离当前因素比较遥远(这个遥远要根据具体情况自己定义）的因素对当前因素的性质影响不大。

 

 

条件随机场模型是一种无向图模型，它是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率分布，而不是在给定当前状态条件下，定义下一个状态的状态分布。即给定观察序列O,求最佳状态序列S。