Label Decoupling Framework for Salient Object Detection 论文阅读记录

 

Label Decoupling Framework for Salient Object Detection 

 

1.主要贡献

        为了得到更加精确的显著图，主流显著性目标检测算法致力于从全卷积网络（FCN）中聚集更加丰富完善的多尺度特征，并引入边缘信息作为辅助监督损失。虽然这些方法在性能上取得了很大的进展，但作者发现，像素越靠近边缘，预测就越困难，因为边缘像素具有非常不平衡的分布。针对这一问题，作者提出了一个标签解耦框架（LDF），该框架主要由标签解耦（LD）和特征交互网络（FIN）组成。如图1所示，标签解耦显式地将原始显著图分解为主体图和细节图两部分，其中主体图主要集中在目标中心区域，细节图主要集中在目标边缘附近区域。与传统的边缘监督不同，细节图相对于目标边缘覆盖了更广的区域也包含更多信息。同时，主体图丢弃了目标边缘像素，只关注中心区域。这成功地避免了训练过程中边缘像素的有害影响。此外，特征交互网络被设计成双分支结构以分别处理主体图和细节图，如图2所示。考虑到主体图和细节图特征的互补性，作者设计了特征交互（FI）以融合两个分支来预测最终的显著图，同时利用融合后的特征分别对两个分支进行特征细化。通过这种迭代的方式有助于学习更好的表示并得到更精确的显著图。在6个基准数据集上的综合实验表明，该算法在不同的评价指标上都优于最新的方法。

fig1

fig2

2.Body label & Detail label的生成方法

step1：生成权值矩阵，其中表示前景图，表示背景图，p,q为任意像素点。

              

step2：生成Body label和Detail label 

3.损失函数

其中，表示迭代次数，损失函数表示多次迭代时的损失函数。

4.FIN moudule

        这篇论文还有一个独特的设计，就是融合两分支的方法，具体的结构并没有什么特别新颖的地方，但是，作者提出一种迭代融合的方法融合body分支和detail分支，并通过实验选择了合适的迭代次数。迭代过程中，第次迭代使用第次的迭代结果。

5.实验结果

6.结果分析

        论文中，作者强调，他们的方法可以使得分割结果在图像边缘附近更加准确。具体数据见fig6，本人从上述数据也做出了自己的思考，首先，将问题分为主体图与细节图然后再考虑融合可能是有意义的，因为本来深度网络解决SOD问题就有“分割物体不全”、“边缘信息不全”等问题，主体图则能让结果获得一个更全面的物体，而细节图则致力于使结果得到更清晰的边缘信息，因此感觉该设计是合理的，另外一个比较有意思的设计就是这个迭代过程，虽然消融实验来看，效果甚微，但高精度下仍然是有提升的，感觉这种迭代思想是值得借鉴于学习的。