基于尺寸划分的RGB显著物体检测方法

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

SDCNet: Size Divide and Conquer Network for Salient Object Detection

Senbo Yan, Xiaowen Song, and Chuer Yu

简介：为了解决现有的显著物体检测方法在检测小对象或大对象方面比较困难这一问题，该文提出了一种大小划分和征服网络(SDCNet)，用以分别学习不同大小的突出对象的特征，以便提高检测性能。具体来说，SDCNet包含两个主要方面：（1）通过计算具有像素级的地面真相图像中物体的比例，并训练一个大小推理模块（SIM）来预测突出物体的大小。（2）提出了一种多通道尺寸划分模块(MSDM)，分别学习不同尺寸的显著物体的特征。详细地，使用MSDM跟踪骨干网络的每个块，并使用不同的通道在不同的分辨率下提取不同大小范围内的突出对象的特征。与耦合附加特征不同，该文基于对不同数据分布的分治思想对网络进行编码，并专门学习不同大小的显著对象的特征。实验结果表明，SDCNet在五个基准数据集上的性能优于14种最先进的方法。

主要贡献：

1. 该文提出了一种新的网络设计方法来划分和克服不同的数据分布。MSDM可以分别学习不同大小范围的突出对象的特征。这种基于数据特征的网络设计是有意义的。

2. 该文提供了一个有效的思路，将数据集划分为不同的大小分类，来解决显著对象之间巨大的尺寸偏差，从而显著提高了显着性映射的准确性。

3. 该文比较了所提出的方法和14种最先进的方法在五个基准数据集。在没有预处理和后处理的情况下，在三个评估指标上取得了更好的性能。

与其他方法的比较的可视化图片：

模型：

1）建立了一个基于FPN（参考论文Feature Pyramid Networks for Object Detection）的侧输出体系结构，实现了高、低层次特征的融合。

2）通过大小引用模块(SIM)获得突出对象的大小推断，该模块与SDCNet共享相同的主干。SIM生成二值化的粗糙显着性推理，并通过计算SOP（突出的对象比例）得到突出对象的预测尺寸范围。根据SOP将尺寸范围分为（0-10%，10%-20%，20%-30%，30%-40%和40%以上五类）见表1。

SOP计算方式：

3）在侧输出结构中，我们在特征融合的过程中加入了MSDM。MSDM将每个边层的特征映射划分为大小无关流和大小相关流。将与大小无关的流放入一个公共卷积层，并将与大小相关的流放入多通道卷积层。多通道卷积层的每个通道对应于特定的大小范围，再将与大小无关的特征与互补的大小相关特征集成在一起。

MSDM的结构：

使用通用特征提取模块(CFEM)来获得大小无关的特征和大小特征提取模块(SFEM)来获得大小相关的特征。根据尺寸推断θ在SFEM中激活不同的卷积信道。CF_i表示大小无关的特征映射，SF_i表示大小相关的特征映射。Up(∗；F_i)是指通过双线性插值将上采样*采样到与F_i相同大小的。Cat(A，B)是指级联特征映射A和B。f⁽ⁱ⁾_conv表示由三个卷积层和非线性激活函数组成的CFEM。f⁽ⁱ⁾_(conv，θ)的结构由几个平行的f⁽ⁱ⁾_conv组成，根据大小推断θ为每幅图像激活其中一幅。θ的计算方式与SOP相同。

各模块的具体结构如下：

损失函数：

为了快速收敛，将深度监督应用于各侧路径。g^xy和p_i^xy表示GT的像素值和归一化显着性预测。 用w_i表示每个层的损失函数的权重，值为1。总损失函数是:

实验结果：

SDCNet和其他14种最先进的方法在5个数据集上的定量评价结果：

总结：

该文致力于解决显著大小差异的显著目标检测。首先，划分了基准数据集中突出对象的大小分布，并训练了一个SIM来使用逐像素计算来执行大小推断。其次，使用一个由上到下的多尺度特征融合网络作为基本结构。该文设计了一个MSDM，根据SIM获得的大小推断激活不同的通道，并学习了不同大小的突出对象的特征。最后，利用低级特征映射作为一对一的指导，以保留更多关于小突出对象的信息。实验结果表明，该方法对小尺寸物体的检测性能有了显著的提高。该方法在三个评估指标下在五个基准数据集中获得最先进的性能。

好消息！

小白学视觉知识星球

开始面向外开放啦👇👇👇

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~