显著性目标检测和视觉重定位

显著性目标检测

一、Highly Efficient Salient Object Detection with 100K Parameters

本文旨在通过提高网络计算效率来缓解计算花费与模型性能之间的矛盾。本文提出了一种灵活的卷积模块，即广义的OctConv（generalized OctConv, gOctConv），以有效的利用级内和跨级的多尺度特征，同时通过一种新颖的动态权重衰减方案来减少特征的冗余。

这种有效的动态权重衰减方案可稳定地提高训练期间参数的稀疏性，支持gOctConv中每个尺度的可学习通道数，从而可在性能下降忽略不计的情况下，减少80％的参数。利用gOctConv，本文构造了一个非常轻量的模型，即CSNet，该模型在公开的显著性检测基准数据集上，仅使用大型模型约0.2％的参数（100k），即可获得相同的性能。

论文：https://arxiv.org/pdf/2003.05643.pdf
代码：https://github.com/MCG-NKU/SOD100K
出处：ECCV2020

二、Suppress and Balance: A Simple Gated Network for Salient Object Detection

最显著的目标检测方法使用的基本结构是三角网或特征金字塔网络(FPN)。这些方法忽略了编码器与解码器交换信息时的两个关键问题:一是它们之间缺乏干扰控制，二是没有考虑不同编码器块贡献的差异。在这项工作中，提出了一个简单的门控网络来同时解决这两个问题。

论文：https://arxiv.org/pdf/2007.08074.pdf
代码：https://github.com/Xiaoqi-Zhao-DLUT/GateNet-RGB-Saliency
出处：ECCV2020

三、Bifurcated Backbone Strategy for RGB-D Salient Object Detection

多层次特征融合是计算机视觉中对不同尺度目标进行检测、分割和分类的一个基本课题。当多层次特征满足多模态提示时，最优融合问题就成了一个棘手的问题。在本文中，我们首次尝试利用RGB-D显著目标检测固有的多模态和多层次特性来开发一种新颖的级联求精网络。特别地，我们1)提出了一种分叉骨干策略(BBS)，将多层次特征分解为教师特征和学生特征；2)利用深度增强模块(DEM)从通道和空间视图中挖掘深度线索的信息部分。这以互补的方式融合了RGB和深度模式。我们简单而高效的架构，称为分叉主干策略网络(BBS-NET)，独立于主干，实时运行(48fps)，在使用4个度量标准的7个具有挑战性的数据集上显著优于18个SOTA。

论文：https://arxiv.org/pdf/2007.02713.pdf
代码：https://github.com/zyjwuyan/BBS-Net
出处：ECCV2020

四、Cascade Graph Neural Networks for RGB-D Salient Object Detection

介绍了级联图神经网络（Cas-Gnn），这是一个统一的框架，能够通过一组级联图全面提炼和推理图像深度信息和图像颜色信息之间的互利，以学习用于RGB-D显著物体检测的强大表示。 Cas-Gnn分别处理两个数据源，并采用新颖的级联图推理（CGR）模块来学习强大的密集特征嵌入，从而可以轻松推断出显著性图。

论文：https://arxiv.org/pdf/2008.03087.pdf
代码：https://github.com/LA30/Cas-Gnn
出处：ECCV2020

五、Cross-Modal Weighting Network for RGB-D Salient Object Detection

深度图包含用于辅助显著物体检测（SOD）的几何线索。在本文中，我们提出了一种新颖的跨模态加权（CMW）策略，以鼓励RGB与RGB-D SOD深度通道之间的全面交互。具体来说，开发了三个名为CMW-L，CMW-M和CMWH的RGB深度交互模块，分别处理低，中和高级
跨模式信息融合。这些模块使用深度到RGB权重（DW）和RGB到RGB权重（RW）来允许不同网络模块生成的要素层之间进行丰富的跨模态和跨比例交互。为了有效地训练提出的跨模态加权网络（CMWNet），我们设计了一个复合损失函数，该函数汇总了不同规模的中间预测和地面实况之间的误差。通过将所有这些新颖的组件协同工作，CMWNet有效地融合了RGB和深度通道的信息，同时探索了跨比例尺的对象定位和细节。全面的评估表明，CMWNet在七个流行的基准上始终优于15种最新的RGB-D SOD方法。

论文：https://arxiv.org/pdf/2007.04901.pdf
代码：https://github.com/MathLee/CMWNet
出处：ECCV2020

六、Accurate RGB-D Salient Object Detection via Collaborative Learning

受益于深度图像中嵌入的空间提示，RGB-D显著性检测的最新进展在某些挑战性场景中显示出令人印象深刻的能力。但是，仍然有两个限制。一方面是FCN中的合并和上采样操作可能会导致对象边界模糊。另一方面，使用附加的深度网络提取深度特征可能会导致较高的计算和存储成本。测试期间对深度输入的依赖也限制了当前RGB-D模型的实际应用。在本文中，我们提出了一种新颖的协作学习框架，该框架以更有效的方式利用了边缘，深度和显着性，从而巧妙地解决了这些问题。显式提取的边缘信息与显着性一起使用，以更加强调显着区域和对象边界。深度和显着性学习以互惠互利的方式创新地集成到了高级特征学习过程中。这种策略使网络无需使用额外的深度网络和深度输入进行推断。为此，它使我们的模型更轻便，更快速，更通用。在七个基准数据集上的实验结果表明了其优越的性能。

论文：https://arxiv.org/pdf/2007.11782.pdf
代码：https://github.com/jiwei0921/CoNet
出处：ECCV2020

七、Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection

RGB-D显着目标检测（SOD）的主要目的是如何更好地整合和利用交叉模式融合信息。在本文中，我们从新的角度探讨了这些问题。 我们通过紧密连接的结构整合了不同模态的特征，并使用它们的混合特征来生成具有不同大小的接收场的动态滤波器。 最后，我们实现了一种更灵活，高效的多尺度跨模态特征处理，即 动态膨胀金字塔模块。 为了使预测具有更清晰的边缘和一致的显着区域，我们设计了一种混合增强损失函数，以进一步优化结果。 此损失函数也已被验证在单模式RGB SOD任务中有效。 就六个指标而言，所提出的方法在八个具有挑战性的基准数据集上优于现有的十二个方法。 大量实验验证了所提出的模块和损失函数的有效性。

论文：https://arxiv.org/pdf/2007.06227.pdf
代码：https://github.com/lartpang/HDFNet
出处：ECCV2020

八、A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection

现有的RGB-D显着物体检测（SOD）方法集中于RGB流和深度流之间的交叉模式融合。他们没有深入探讨深度图本身的效果。在这项工作中，我们设计了一个单流网络来直接使用深度图来指导RGB与深度之间的早期融合和中间融合，从而节省了深度流的特征编码器，并实现了轻量级的实时模型。我们从两个角度上巧妙地利用了深度信息：（1）克服了模态之间的巨大差异导致的不兼容问题，我们构建了一个单流编码器来实现早期融合，从而可以充分利用ImageNet的预训练主干模型来进行提取丰富而有区别的功能。 （2）我们设计了一种新颖的深度增强双关注模块（DEDA），以有效地为前/后分支提供空间滤波的功能，从而使解码器能够最佳地执行中间融合。此外，我们提出了金字塔式的特征提取模块（PAFE），以精确定位不同比例尺的对象。大量的实验表明，所提出的模型在不同的评估指标下，相对于大多数最新方法而言，具有良好的性能。此外，该模型比当前最轻的模型轻55.5％，并且在处理384×384图像时以32 FPS的实时速度运行。

论文：https://arxiv.org/pdf/2007.06811.pdf
代码：https://github.com/Xiaoqi-Zhao-DLUT/DANet-RGBD-Saliency
出处：ECCV2020

九、RGB-D Salient Object Detection with Cross-Modality Modulation and Selection

我们提出了一种有效的方法来逐步整合和完善RGB-D显着物体检测（SOD）的跨模态互补性。所提出的网络主要解决两个挑战性问题：1）如何有效地整合RGB图像及其对应的深度图中的补充信息，以及2）如何自适应地选择与显着性相关的更多特征。首先，我们提出了一种跨模态特征调制（cmFM）模块，通过将深度特征作为先验来增强特征表示，从而对RGB-D数据的互补关系进行建模。其次，我们提出了一种自适应特征选择（AFS）模块，用于选择与显着性相关的特征并抑制劣等特征。 AFS模块利用多模态空间特征融合，并考虑了通道特征的自模态和跨模态相互依赖性。第三，我们采用了基于显着性的位置边缘注意（sg-PEA）模块，以鼓励我们的网络更加关注与显着性相关的区域。以上整个模块称为cmMS块，以从粗到精的方式促进了显着性特征的细化。结合自下而上的推论，完善的显着性功能可实现准确且边缘保留的SOD。广泛的实验表明，我们的网络在六种流行的RGB-D SOD基准测试中优于最先进的显着性检测器。

论文：https://arxiv.org/pdf/2007.07051.pdf
代码：https://github.com/Li-Chongyi/cmMS-ECCV20
出处：ECCV2020

十、Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection

在本文中，我们旨在开发一种用于RGB-D显着物体检测的高效且紧凑的深度网络，其中深度图像可提供补充信息以提高复杂场景下的性能。从多尺度残差块的粗略初始预测开始，我们提出了一种逐步引导的替代细化网络来对其进行细化。我们首先通过从头开始学习来构建轻量级的深度流，而不是使用ImageNet预训练的骨干网，它可以更有效地提取互补特征，并减少冗余。然后，与现有的基于融合的方法不同，将RGB和深度特征交替输入到建议的引导残差（GR）块中，以减少它们的相互退化。通过在每个侧面输出中的堆叠GR块中分配渐进式引导，可以很好地纠正错误检测和遗漏的零件。在七个基准数据集上进行的广泛实验表明，我们的模型在很大程度上优于现有的最新方法，并且还显示出效率（71 FPS）和模型大小（64.9 MB）方面的优越性。

论文：https://arxiv.org/pdf/2008.07064.pdf
代码：https://github.com/ShuhanChen/PGAR_ECCV20
出处：ECCV2020

视觉重定位

一、GN-Net: The Gauss-Newton Loss for Multi-Weather Relocalization

直接SLAM方法在里程测量任务中表现出卓越的性能。 但是，它们容易受到动态光照和天气变化的影响，同时还遭受在较大基线上进行不良初始化的痛苦。 为了克服这个问题，我们提出了GN-Net：一种通过新颖的高斯-牛顿损耗优化的网络，用于训练天气不变的深层特征，专为直接图像对准而设计。 我们的网络可以使用从不同序列拍摄的图像之间的像素对应关系进行训练。 在模拟和真实数据集上进行的实验表明，我们的方法在不良初始化，日间变化和天气变化方面更具鲁棒性，从而胜过最新的直接方法和间接方法。 此外，我们发布了针对不同类型天气的重新定位跟踪的评估基准。

论文：https://arxiv.org/pdf/1904.11932.pdf
代码：https://github.com/Artisense-ai/GN-Net-Benchmark
出处：ICRA2020

二、Relocalization with Submaps: Multi-session Mapping for Planetary Rovers Equipped with Stereo Cameras

为了能够长期探索极端环境（例如行星表面），异构机器人团队需要能够将自己定位在先前构建的地图上。 尽管可以使用许多最新的解决方案有效地解决单个会话的本地化和映射问题，但自然环境中的位置识别仍对机器人代理的感知系统提出了巨大挑战。 在本文中，我们提出了一个重新定位管道，该管道可以利用立体摄像机的3D和视觉信息来检测多个SLAM会话的本地点云之间的匹配。 我们的解决方案基于“袋中的二元词”方案，其中二进制化的SHOT描述符丰富了视觉提示，可以快速有效地调用以前访问过的地方。 拟议的重新定位方案已通过使用埃特纳火山上的行星漫游车原型（称为月球模拟环境）捕获的具有挑战性的数据集进行了验证。

论文：https://ieeexplore.ieee.org/document/8950110/
代码：无
出处：ICRA2020