动态特征融合语义边缘检测论文Dynamic Feature Fusion for Semantic Edge Detection解读

Abstract 

如果多尺度特征融合良好，可以大大提高语义边缘检测的效率。然而，目前流行的语义边缘检测方法采用固定权值的融合策略，强制图像中不同的语义共享相同的权值，使得所有图像和位置的通用权值不考虑其不同的语义或局部上下文。在这项工作中，我们提出了一种新的动态特征融合策略，该策略自适应地为不同的输入图像和位置分配不同的融合权重，这是通过一个权值学习器根据特定的输入条件，为特征图的每个位置在多个层次的特征上提供适当的融合权重来实现的。这样，可以更好地考虑特征图和输入图像在不同位置所产生的差异，从而有助于产生更精确和更尖锐的边缘预测。通过在Cityscapes和SBD上的综合实验，我们证明了我们的新的动态特征融合模型优于固定权重融合模型和直接定位不变权重融合方法。而且我们的方法优于所有现有的方法，实现了sota。

Introduction 

在本文中，我们提出了一种动态特征融合(Dynamic Feature Fusion, DFF)方法，该方法将自适应融合权值分别分配到每个位置，旨在生成一个自适应于每个图像特定内容的融合边缘映射，如图1的底行所示。特别地，我们设计了一种新型的位置自适应权重学习器，该学习器根据多层级响应图的特征图内容，主动学习自定义的特定于位置的融合权重。如图1所示，将低级特征(Asidel ~ Aside3)和高级特征(Aside5)合并，生成最终的融合输出。低层次的特征映射对细节(如物体内部的边缘)有很高的响应，而高层次的特征映射则比较粗糙，只在物体层次的边界上有很强的响应。这location-adaptive权重学习器为每个单独位置生成融合权重。例如，对于马的边界，融合权值偏向于低级特征，以充分利用精确定位的边缘。对于马的内部，较高的权重被分配到高层次的特征，以抑制物体内部零碎和琐碎的边缘反应。

主要贡献是：

本文首次揭示了目前流行的固定权值融合方法的局限性，并解释了其不能产生令人满意的融合结果的原因。

提出了一种动态特征融合(DFF)模型。据我们所知，在SED的研究领域中，我们是第一个提出以输入内容为条件来学习自适应融合权值来融合多级特征的。

所提出的DFF模型在SED任务上达到了sota水平。

CASENet

关于CASENet的结构，（https://blog.csdn.net/u010213183/article/details/73028572）这篇博客讲的很详细

Proposed Model

主干网络仍然采用resnet-101，在前三阶段提取通道数为1的标准化特征图 ，在第五阶段提取通道数为k和4k的标准化特征图，同CASENet一样，用前三阶段提取的特征图和第五阶段提取的k个特征图做shared concatenation生成4k个连接特征图（具体见CASENet）。用第五阶段提取的4k个标准化特征图来经过自适应权重学习器学习得到4k个H*W的权重图，这样权重参数4k*H*W与连接特征图的像素点个数相等，对于连接特征图的每个像素点都会有一个对应的权重，而不是以往的对于同一张连接特征图的所有像素点其权重都是相同的。然后用这些权重来做融合。

自适应权重学习器结构见上图b，其把原来的位置不变权重学习器结构中的全连接换成了1*1卷积并去掉了全局池化操作，使得原来只能得到1*1*4k的权重参数量变成了H*W*4k。