Conditional Random Fields as Recurrent Neural Networks

像素级的标注任务,例如语义分割任务,在图像理解中扮演着重要的角色。作者提出一种新的卷积网络形式,结合了卷积神经网络(CNNs)和条件随机场(CRFs)。作者融合了CRF模型和CNN使其能够end-to-end的方式,利用back-propagation训练整个网络,避免了后向处理的过程。

将CNN用于高层的视觉任务有着巨大的挑战。首先,传统的CNNs具有convolutional filters with large receptive fields,因此当产生像素级别的输出时,显得粗糙。第二,CNNs缺少平滑约束来使在相似像素之间达到标签一致性。

对于语义标签,CRF的主要想法是是将标签分配问题作为probabilistic inference 问题。CRF能够调解weak和coarse 像素级的label预测,产生sharp boundaries和fine-grained分割。

作者提出了如何将mean-field CRF inference作为Recurrent eural Network(RNN)的方法。下图是mean-field算法的每一个步骤。

 

1. Initialization

2. Message Passing

3. Weighting Filter Outputs

4. Compatibility Transform

5. Adding Unary Potentials

6. Normalization

其中mean-field 算法的每一次的迭代可以看作普通CNN层的堆叠。该方法等价于训练迭代mean-field inference 作为一个RNN.该模型结构叫做CRF-RNN。该CRF-RNN的参数和mean-field参数相同,其中在这里用代表。其中mean-field迭代算法对于dense CRF可以在10次迭代以下收敛。

每次迭代算法如下。

 

迭代的过程如下,类似于RNN

 

 

 

 

 

 

 

整个架构

作者使用FCN-8s作为网络的第一部分,该FCN-8s基于VGG-16网络,但是被重新调整来应用于pixel-wise预测,而不是图像分类。在前向传播过程中,一旦计算从CNN阶段到了CRF-RNN阶段,数据需要进行T次的迭代。该网络的最后是softmax loss 层,直接连接CRF-RNN

 

Pascal VOC 2012数据集上进行训练和测试。通过下表的结果,可以看出,仅使用FCN-8s和将CRF作为后向处理的结果均不如直接end-to-end的策略。通过end-to-end的方法,在CRF-RNNSGD训练过程中,CNNCRF部分可以学习如何相互合作,来使网络产生更好的结果。

 

下表是与其他方法的对比结果。

 

 

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值