条件随机场 CRF

条件随机场(CRF)是一种无向图模型,用于序列标注任务。它假设随机变量Χ表示观察序列,Υ表示标记序列,且在Χ条件下,Υ的条件概率遵循马尔可夫属性。学习算法包括极大似然估计和正则化。CRF的能量函数由数据项和平滑项组成,通过最小化能量函数来最大化后验概率,实现最优分割。算法迭代过程涉及信息传递、滤波结果加权相加、类别兼容性转换、加数据项和归一化等步骤。
摘要由CSDN通过智能技术生成

    随机变量 Χ 表示需要标记的观察序列集。随机变量 Υ表示相应的表示标记序列集。所有的 Υ i ∈ Υ 被假设在一个大小为 N 的有限字符集内。随机变量 Χ 和 Υ 是联合分布,但在判别式模型中我们构造一个关于观察序列和标记序列的条件概率模型 p ( Y | X ) 和一个隐含的边缘概率模型 p ( X ) 。

    条件随机场定义:令 G = ( V , E ) 表示一个无向图, Υ = ( Υ v ) v ∈ V , Υ 中元素与无向图 G中的顶点一一对应。当在条件 Χ 下,随机变量 Υ v 的条件概率分布服从图的马尔可夫属性:p ( Υ v | Χ , Υ w , w ≠ v ) = p ( Υ v | Χ , Υ w , w ~ v ) ,其中 w ~ v 表示 ( w , v ) 是无向图 G 的边。这时我们称 ( Χ , Υ ) 是一个条件随机场。

条件随机场的学习算法

给定训练数据集估计条件随机场模型参数问题,叫做条件随机场的学习问题。条件随机场模型实际上是定义在时序数据上的对数线形模型,其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。这里不再展开,有需求的去看李航《统计学习方法》吧。

公式如下:

P(Y|X)=\frac{1}{Z(X)}\tilde{P}(Y,X)

\tilde{P}(Y,X)=exp(\sum_i w_i * f_i(Y,X))

Z(X)=\sum_Y exp(\sum_i w_i * f_i(Y,X))

全连接条件随机场:能量函数

该函数由两部分组成,数据项和平滑项,数据项是基于每个像素属于各个类别的概率,平滑项是基于像素之间的灰度值差异和空间距离

条件随机场的概率函数为

P(

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值