WGI-Net: A weighted group integration network for RGB-D salient object detection

思路来源

        本文作者提出了一种新的特征信息融合方法——加权分组集成，以有效融合RGB和Depth特征信息，本文使用双分支结构分别对输入的RGB图像和深度图像进行切片，然后通过串联来合并结果。由于分组的特征可能会丢失有关目标对象的全局信息，因此本文结构还采用了残差学习的思想。以原始融合方法捕获的特征作为补充信息，以确保信息的准确性和完整性。

整体结构

        结构整体上可以分成4个部分分别的RGB流，RGB和Depth特征融合块，Depth特征流，以及最终用于生成显著图的FRU融合模块。接下来将针对这些部分进行逐一讲解。

RGB分支

        RGB分支用于从RGB图片中获得特征，包含5个层，每层均有一个侧边输出，此分支用于从RGB分支中获得主要的特征信息，比如低层特征（颜色，位置，质地等），高层特征（语义信息）和上下文特征。

Depth分支

        Depth分支用于从深度图中捕获深度线索以帮助准确和完整地检测到显著物体。在将深度特征与RGB特征在加权分组融合模块中进行融合时，我们会对深度特征进行加权处理，具体细节见下文：
        深度信息可以提供有用的线索以定位和查找出一张图片中的显著物体，当具有复杂背景环境或背景与前景之间的色彩对比度较低时，仅靠外观特征很难准确地检测和邠图像中的显著对象，这时加入深度信息则显得更加有用。总之作者认为深度信息并不是全都能用，可能有些深度图质量并不是很好，英雌作者想到对深度图加权重的方式来进进行处理，此加权过程如图3所示：

加权分组融合模块（Weighted group integration module）

        为了更加有效地利用来自RGB和Depth图片的特征信息，本文介绍了这个用于进行不同模态之间进行特征融合的模块，首先对来自RGB流的特征将其按通道平分成8部分，然后使用级联操作将RGGB和深度特征的各个部分进行融合以获得部分显著图。然后，再次利用级联操作来整合这些预测的图片（粗略显著图）以收集所有有用的信息。为了既保持强大的特征整合能力，同时又不引入过多的计算量，本文采用将特征分解成较小的特征信息块，以替换原RGB和深度特征信息，同时，先前的融合信息以类似残差的方式进行连接。
        RGB分支时直接分成8个小块（通道上分），Depth分支则通被分成8个子块后还对这些子块进行加权，以获得更多有启发性的深度信息。然后，通过在通道维度上进行级联，分别将每个获取的RGB信息块与相应的深度信息块进行合并。
        在此模块中，我们使用分段和融合对从每个图层提取的深度信息和RGB信息进行切片，然后将它们分别融合。 这种方法有利于全局信息的使用，并且可以更有效地融合两种信息。

FRU

        此部分就是论文DMRA的框架，如下图去掉红框的内容：

实验结果