我的博客

语义场景理解对于在各种环境中行动的移动代理至关重要。尽管语义分割已经提供了很多信息，但关于单个物体以及一般场景的细节还是缺失的，但对于许多现实世界的应用来说是需要的。然而，鉴于移动平台上有限的计算和电池能力，单独解决多个任务是昂贵的，而且不能实时完成。在本文中，我们提出了一种高效的RGB-D场景分析的多任务方法（EMSANet），它同时进行语义和实例分割（全景分割）、实例方向估计和场景分类。我们表明，所有的任务都可以在移动平台上使用单一的神经网络实时完成，而不会降低性能–相比之下，各个任务之间能够相互受益。

RGB-D语义分割在过去几年中引起了越来越多的关注。现有的方法大多使用同质卷积算子来消耗RGB和深度特征，而忽略了它们的内在差异。事实上，RGB值捕获投影图像空间中的光度外观属性，而深度特征在更大的上下文中编码局部几何体的形状以及其基础（其周围）。与基础相比，形状可能更固有，与语义的联系更强，因此对分割精度更为关键。受此观察的启发，我们引入了一个用于处理深度特征的形状感知卷积层（ShapeConv），其中深度特征首先被分解为形状分量和基础分量，然后引入两个可学习权重以独立地与它们协作，最后对这两个分量的重新

对移动机器人在不同环境下的动作进行深入的场景分析是至关重要的。语义分割可以增强各种后续任务，如(语义辅助的)人感知、(语义辅助的)自由空间检测、(语义辅助的)映射和(语义辅助的)导航。在本文中，我们提出了一种高效、鲁棒的RGB-D分割方法，该方法可以使用NVIDIA TensorRT进行高度优化，因此非常适合作为移动机器人场景分析复杂系统中的常见初始处理步骤。我们表明，RGB- D分割优于单独处理RGB图像，如果精心设计网络架构，它仍然可以实时执行。我们在公共室内数据集NYUv2和SUNRGB-D上评估了我

许多研究工作关注于利用室内深度传感器的互补几何信息，在由深度卷积神经网络执行的视觉任务中，特别是语义分割。这些工作涉及一种称为“RGB-D室内语义分割”的特定视觉任务。这个任务的挑战和结果解决方案与其标准的RGB对应物不同。这导致了一个新的活跃研究课题。本文的目标是介绍用于RGB-D室内语义分割的深度卷积神经网络领域。该综述介绍了最流行的公共数据集，提出了近期贡献所采用的策略的分类，评估了当前最先进技术的性能，并讨论了剩余的挑战和未来工作的有希望的方向。

深度学习的成功已经成为解决越来越复杂的机器学习问题的催化剂，这些问题通常涉及多个数据模态。我们回顾了深度多模态学习的最新进展，并突出了该活跃研究领域的现状，以及存在的差距和挑战。我们首先对深度多模态学习架构进行分类，然后讨论在深度学习架构中融合学到的多模态表示的方法。我们强调两个研究领域——正则化策略和学习或优化多模态融合结构的方法——作为未来工作的激动人心的领域。

本文提出了基于ConvNeXt的跨模态特征融合RGB-D语义分割模型，该模型使用ConvNeXt作为骨架网络，并嵌入了一个跨模态特征融合模块（CMFFM）。CMFFM设计了特征通道和光谱级别的融合，可以实现RGB和深度的深度特征融合

混淆矩阵和语义分割评价指标:Acc CAcc MAcc loU MIoU FWMIoU

语义分割交叉熵损失CrossEntropyLoss

语义分割在计算机视觉研究中起着重要作用。它指的是在像素层面上识别图像，也就是标记图像中每个像素所属的对象类别。目前，语义分割已被广泛应用于自动驾驶、机器人感知和医学图像诊断等智能任务[1], [2], [3], [4], [5]。近年来，基于深度学习的图像分割方法发展迅速。自Shelhamer等人[6]提出全卷积神经网络（FCN）以来，卷积神经网络（CNN）在语义分割任务中取得了令人瞩目的成绩。因此，它们被广泛地应用于语义分割领域。

在使用RGB-D数据进行多类室内语义分割时，已经证明将深度特征纳入RGB特征有助于提高分割的准确性。然而，以前的研究并没有充分挖掘多模态特征融合的潜力，例如，简单地将RGB和深度特征连接起来，或者将RGB和深度分数图平均化。为了学习多模态特征的最佳融合，本文提出了一个新颖的网络，将残差学习的核心思想扩展到RGB-D语义分割中。我们的网络通过包括多模态特征融合块和多层次特征细化块，有效地捕捉了多层次的RGB-D CNN特征。特征融合块学习剩余的RGB和深度特征以及它们的组合，以充分利用RGB和深度数据的互补特

几种融合介绍

深度信息在RGB-D语义分割任务中很重要，可以为彩色图像提供额外的几何信息。大多数现有的方法利用多阶段的融合策略，将深度特征传播到RGB分支。然而，在非常深的阶段，以简单的元素相加的方式传播，不能完全利用深度信息。我们提出**全局-局部传播网络（GLPNet）**来解决这个问题。具体来说，我们引入了一个局部语境融合模块(L-CFM)，在元素明智融合之前动态地对齐两种模式，并引入了一个全局语境融合模块(G-CFM)，通过联合建模多模式全局语境特征将深度信息传播到RGB分支。广泛的实验证明了所提出的融合模块的有

感知对于在现实环境中行动的机器人来说至关重要，因为自主系统需要看到并理解周围的世界，才能适当地行动。全景分割通过计算像素级语义标签和实例ID来提供对场景的解释。本文利用RGB-D数据对室内场景进行全景分割。我们提出了一种新的编码器-解码器神经网络，它通过两个编码器分别处理RGB和Depth。各个编码器的特征在不同的分辨率下逐步融合，这样RGB特征就可以使用互补的深度信息来增强。我们提出了一种新的融合方法，称为ResidualExcite，它根据特征图的重要性重新评估每个条目。使用我们的双编码器架构，我们可以

室内语义分割一直是计算机视觉中的一项困难任务。在本文中，我们提出了一个用于室内RGB-D语义分割的RGB-D残差编码器-解码器架构，名为RedNet。在RedNet中，残差模块作为基本构件被应用于编码器和解码器，并使用跳过连接来绕过编码器和解码器之间的空间特征。为了纳入场景的深度信息，我们构建了一个融合结构，它分别对RGB图像和深度图像进行推理，并将它们的特征融合在若干层上。为了有效地优化网络参数，我们提出了一个 "金字塔监督 "训练方案，在解码器的不同层上应用监督学习，以应对梯度消失的问题。实验结果表明，

结合RGB图像和相应的深度图进行语义分割在过去几年证明了有效性。现有的RGB-D模态融合方法要么缺乏非线性特征融合能力，要么对两种模态图像一视同仁，而不考虑固有分布差距或信息损失。在这里，我们发现深度图适合提供对象固有的细粒度模式，因为它们的局部深度连续性，而RGB图像有效地提供了全局视图。在此基础上，我们提出了一个像素差分卷积注意(DCA)模块来考虑深度数据的几何信息和局部距离相关性。此外，我们将DCA扩展到集成差分卷积注意(EDCA)，它传播远程上下文依赖性，并无缝地整合RGB数据的空间分布。DCA和E

与RGB语义分割相比，RGBD语义分割通过考虑深度信息可以获得更好的性能。然而，由于RGB和深度（D）图像的特征分布在不同场景中显著不同，当代分割器有效地利用RGBD信息仍然存在问题。在本文中，我们提出了一种注意力互补网络（ACNet），它选择性地从RGB和深度分支中收集特征。主要贡献在于注意力补充模块（ACM）和具有三个并行分支的体系结构。更准确地说，ACM是一个基于通道注意力的模块，它从RGB和深度分支中提取加权特征。该架构保留了原始RGB和深度分支的推断，同时启用了融合分支。基于上述结构，ACNet能