随机变量 Χ 表示需要标记的观察序列集。随机变量 Υ表示相应的表示标记序列集。所有的 Υ i ∈ Υ 被假设在一个大小为 N 的有限字符集内。随机变量 Χ 和 Υ 是联合分布,但在判别式模型中我们构造一个关于观察序列和标记序列的条件概率模型 p ( Y | X ) 和一个隐含的边缘概率模型 p ( X ) 。
条件随机场定义:令 G = ( V , E ) 表示一个无向图, Υ = ( Υ v ) v ∈ V , Υ 中元素与无向图 G中的顶点一一对应。当在条件 Χ 下,随机变量 Υ v 的条件概率分布服从图的马尔可夫属性:p ( Υ v | Χ , Υ w , w ≠ v ) = p ( Υ v | Χ , Υ w , w ~ v ) ,其中 w ~ v 表示 ( w , v ) 是无向图 G 的边。这时我们称 ( Χ , Υ ) 是一个条件随机场。
条件随机场的学习算法
给定训练数据集估计条件随机场模型参数问题,叫做条件随机场的学习问题。条件随机场模型实际上是定义在时序数据上的对数线形模型,其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。这里不再展开,有需求的去看李航《统计学习方法》吧。
公式如下:
全连接条件随机场:能量函数
该函数由两部分组成,数据项和平滑项,数据项是基于每个像素属于各个类别的概率,平滑项是基于像素之间的灰度值差异和空间距离
条件随机场的概率函数为
P(