DIS论文笔记 CVPR2024 Multi-view Aggregation Network for Dichotomous Image Segmentation

这篇论文的动机、现有方法的不足、拟解决的问题、主要贡献和创新点可以总结如下：

1. 动机

论文的动机是为了应对高精度二值图像分割（Dichotomous Image Segmentation, DIS）任务中的挑战。DIS任务需要从高分辨率自然图像中精确地分割目标物体，涉及到广泛的场景理解应用，例如增强现实/虚拟现实（AR/VR）、图像编辑、3D形状重建等。DIS任务的难点在于如何平衡小感受野下高分辨率目标的语义离散性以及大感受野下高精度细节的损失。

2. 现有方法的不足

现有的二值图像分割方法主要基于卷积神经网络（CNN）和编码器-解码器架构，通过多个阶段逐步实现全局定位和局部细化。这些方法存在以下不足：

• 感受野问题：输入图像分辨率的提升会导致感受野相对减小，难以捕捉全局语义信息。
• 模型复杂性：许多现有方法依赖于多个独立的编码器-解码器流和阶段，增加了模型的复杂性、参数量、以及冗余。
• 效率问题：由于高分辨率图像数据量大，处理效率低，难以适应如自动驾驶等实时应用场景。
• 局部细节处理不足：虽然基于Transformer的全局信息传播方法能够处理全局特征，但在捕捉局部细节方面可能不如CNN。

3. 拟解决的问题

论文旨在解决DIS任务中在全局语义和局部细节之间的权衡问题。具体来说，作者提出了一个简洁的多视角聚合网络（MVANet），通过结合远景和特写视角的特征融合，解决现有方法中全局特征与局部细节不兼容的问题，同时提高模型的效率与精度。

4. 主要贡献

• 提出了一种将高分辨率图像处理模式升级为多视角学习的模式。
• 设计了首个用于DIS任务的单流、单阶段的多视角聚合网络（MVANet），简化了全局语义和局部细节的获取流程。
• 提出了两个基于Transformer的模块：多视角互补定位模块（MCLM）和多视角互补细化模块（MCRM），用于提高目标定位精度并恢复目标边界细节。
• 实验表明，MVANet在DIS任务中显著优于现有最先进方法，在保持高精度的同时，推理速度提高了近两倍。

5. 创新点

• 多视角处理框架：将高分辨率输入图像分解为包含远景全局信息的低分辨率图像和包含局部细节的特写视角图像，通过多视角学习模式增强模型的全局-局部特征兼容性。
• MCLM模块：通过特有的跨注意力机制，结合全局和局部特征，实现目标定位的互补性增强，减小了不同视角之间的局部语义差距。
• MCRM模块：通过局部特征的增强，细化全局特征中缺失的精细细节，优化目标分割的边界细节表示。
• 高效推理：提出的MVANet通过简化的单流架构，同时在精度和推理速度上实现了突破。

通过这些创新，MVANet在DIS-5K数据集上的实验结果显示，在精度和速度方面都超越了现有的最先进方法。

1. Introduction

这篇论文的第一部分“Introduction”（引言）详细介绍了论文的研究背景、问题定义、挑战、现有方法的不足，以及作者提出的新方法和创新性解决方案。具体内容如下：

1. 背景与问题定义

• 二值图像分割（Dichotomous Image Segmentation, DIS） 是一个新兴的任务，目标是从高分辨率的自然图像中准确分割出前景对象。DIS任务在场景理解中的应用非常广泛，包括增强现实（AR）、虚拟现实（VR）、图像编辑和3D形状重建等领域。DIS与经典的图像分割任务不同，要求更高的分割精度，尤其是在处理高分辨率（HR）图像时，这些图像包含了大量复杂的细节和结构。

• 在DIS任务中，主要的挑战有两个：

  1. 分割能力的提升需求：高分辨率图像包含比低分辨率图像更多的细节，因此需要更复杂的处理流程和更强大的特征建模能力。此外，DIS任务必须应对遮挡干扰、复杂光照条件和可变的物体姿态等问题，这使得高分辨率数据处理要求更高的适应性和鲁棒性。
  2. 处理效率的提升需求：高分辨率图像的体积较大，导致处理速度变慢、内存消耗较多，进而限制了现有方法在实际场景中的应用，如自动驾驶或实时视频处理。因此，DIS任务不仅要求算法的有效性，还要求推理效率。

2. 现有方法的不足

• 许多现有方法通过使用卷积神经网络（CNN）和多编码器-解码器的架构来解决DIS任务。尽管这些方法在性能上有一定的优势，但在处理高分辨率图像时，CNN架构存在固有的局限性。具体问题包括：

  1. 感受野问题：随着输入分辨率的增加，感受野相对变小，网络在捕获全局语义信息方面的能力会受到限制。
  2. 局部细节捕捉不充分：基于Transformer的方法虽然具备全局信息传播能力，但在处理局部细节方面不如CNN，因为Transformer在细粒度的高精度分割任务中无法很好地处理局部细节。此外，多尺度独立模型增加了特征处理流程的复杂性和冗余。

• 此外，现有的多分辨率输入方法容易导致计算冗余，因为高分辨率图像本身已经包含了低分辨率图像中的所有信息，导致重复计算和信息冗余。

3. 拟解决的问题与方法创新

• 作者通过将高分辨率图像处理任务建模为多视角对象感知问题来解决上述问题。受人类视觉系统通过多个视角观察感兴趣区域的启发，作者提出了一种多视角聚合网络（MVANet），该网络在单一编码器-解码器结构中统一了远视角和近视角的特征融合。
• 具体来说，作者将输入的高分辨率图像分解为包含全局信息的远视图像和包含细节信息的特写图像，这些图像构成了多视角的低分辨率输入补丁序列。这样可以在一个流中并行获取全局语义和局部细节，避免了以往方法中的特征/模型重复使用问题。

4. 创新点与主要贡献

作者的主要创新和贡献如下：

1. 多视角处理模式：通过将高分辨率图像拆分为远视角和近视角来构建多视角补丁序列，整合全局信息和局部细节，解决了现有方法中多阶段特征融合的复杂性问题。
2. 多视角互补定位模块（MCLM）：提出了一个基于跨注意力机制的模块，通过结合全局和局部特征来增强对象定位能力，减小不同补丁之间的语义差异。
3. 多视角互补细化模块（MCRM）：设计了一个细化模块，利用局部特征的跨注意力机制，在全局特征中细化和优化目标边界细节。
4. 高效推理：通过将所有补丁的输出通过简单的视角重排模块融合，最终生成高精度的高分辨率分割结果。实验表明，该方法在DIS-5K数据集上显著提高了精度和推理速度。

5. 总结

作者通过提出一个简洁且高效的多视角聚合网络（MVANet），将DIS任务转化为多视角感知问题，成功地解决了现有方法在高分辨率图像分割中的局限性，并在推理速度和精度上都取得了显著的提升。

图1展示了高分辨率图像被分解为多个视角补丁序列的过程，这种多视角处理模式是本文提出的多视角聚合网络（MVANet）的核心概念之一。

1. 远视角（Distant View）

• 图中左上角展示了一张完整的高分辨率图像，通过缩小图像尺寸，生成远视角图像。远视角图像保留了图像的全局信息，主要用于提供全局上下文和定位目标物体的粗略位置。

2. 近视角（Close-up View）

• 高分辨率图像还被进一步分解为多个局部视角的特写图像。这些图像从原图中裁剪出不重叠的局部区域，保留了每个局部区域的细粒度特征，主要用于捕捉图像中的精细细节，如物体的边缘和结构。

3. 多视角补丁序列（Multi-view Patch Sequence）

• 远视角和近视角图像共同组成了多视角补丁序列（右侧部分展示）。这个序列结合了全局和局部信息，用于后续的多视角特征融合和分割任务。

通过这种将高分辨率图像分解为远景和近景的方式，网络能够同时利用全局语义和局部细节，从而提高分割精度。

2. Related Work

2.1. Dichotomous Image Segmentation

在论文的**2.1节：Dichotomous Image Segmentation（二值图像分割）**中，作者详细介绍了二值图像分割（DIS）的任务定义、现有方法的进展及其局限性。具体解释如下：

1. 二值图像分割的任务定义

二值图像分割（DIS）被定义为一个与类别无关的任务，旨在从图像中精确分割出具有复杂结构的前景目标对象，而不考虑这些对象的特性。这项任务要求分割出前景对象并排除背景。DIS与经典的图像分割任务不同，其主要特征在于：

• 高精度的要求：即使是物体的内部细节也要被准确描绘出来。DIS不仅关注物体的边界，还需要分割出物体内部的精细结构，要求对复杂的几何形状进行高精度的分割。
• 广泛的适用范围：DIS任务处理多种不同类型的对象，比如显著性对象、伪装对象和细致物体等，具有广泛的应用场景。

2. 现有方法的进展

针对DIS任务，研究人员提出了多种不同的方法，这些方法在性能上取得了显著的进展。以下是一些具有代表性的方法：

• IS-Net：第一个提出的DIS解决方案，使用了U2Net作为骨干网络，并采用中间监督策略来逐步优化分割结果。IS-Net是将全局特征与局部细节结合的早期尝试之一。
• PF-DIS：首次利用频率先验来识别DIS任务中的精细边界。该方法专注于物体的边缘区域，通过频率域的特征识别来提高分割的边缘精度。
• UDUN：该方法提出了一种“联合-分解-联合”的策略，以将对象的主干与结构分割开，专门为高精度DIS任务设计。这种方法将分割任务分解为多个子任务，进一步细化分割精度。

3. 现有方法的局限性

虽然现有的这些方法在DIS任务中取得了显著的成果，但仍然存在以下几个方面的局限性：

• 依赖于CNN的局限性：许多DIS方法依赖于卷积神经网络（CNN），而CNN在处理高分辨率图像时具有感受野较小的问题，这意味着网络难以捕捉图像中的全局语义信息。这是因为输入分辨率的增加导致感受野相对变小，从而影响模型在高分辨率场景中的表现。
• 多阶段、多流架构的复杂性：现有方法通常依赖于多个阶段或多条特征流来逐步聚合全局和局部特征。这种方式虽然有效，但引入了额外的模型参数、计算复杂度、冗余信息处理等问题，导致模型的推理效率降低，难以适应实际应用场景中的需求。

4. 本论文的解决方案

为了应对上述问题，本文提出了一个简洁的单流和单阶段的解决方案，即多视角聚合网络（MVANet）。MVANet的设计目标是通过并行处理全局和局部特征，避免现有方法中的级联特征重用问题。通过这种方式，MVANet能够兼顾全局语义和局部细节的捕捉，减少了冗余计算，同时提高了模型的处理效率和分割精度。

---

总的来说，这一节回顾了二值图像分割的定义与特点，并详细阐述了现有方法的进展和局限性，为作者提出的新方法提供了研究背景和动机。

2.2 Multi-view Learning

在论文的**2.2节：Multi-view Learning（多视角学习）**中，作者介绍了多视角学习的概念及其在不同领域的应用，进而说明了该技术在图像分割任务中的潜力。具体解释如下：

1. 多视角学习的定义

• 多视角学习是一种新兴的机器学习方向，它通过从多个角度对同一输入数据进行建模，来提升模型的泛化能力。
• 这种学习方法利用多个独立的视角（或视图）来获取丰富的特征表示，并通过联合优化这些不同视角的函数，提升对数据的整体理解能力。

2. 多视角学习的应用领域

在近年来，随着深度学习的发展，多视角学习在多个领域中得到了广泛应用，主要包括以下几个方面：

• 3D对象识别：Su等人（2015年）是多视角学习的先驱者之一，他们首次利用来自多个角度的2D投影图像作为输入，构建了一个多视角卷积神经网络，用于3D形状识别。这种方法通过结合不同视角的图像信息，大大提高了3D对象识别的精度。
• 3D重建：Wang等人（2021年）提出了一种代表性的多视角3D重建方案，该方法通过编码多个视角之间的信息，联合探索2D输入视角与3D输出体积之间的多层次对应关系和关联性。这类方法极大地提升了从多视角图像重建3D模型的效果。
• 特征匹配：多视角学习在特征匹配任务中也有重要应用，例如He等人（2020年）提出的Epipolar Transformers模型，利用多视角信息来提升特征匹配的精度，特别是在3D场景的点云匹配中表现出色。

3. 多视角学习在高分辨率图像分割中的启发

在二值图像分割（DIS）任务中，图像通常是高分辨率的，包含了丰富的细节和复杂的结构。为了更好地处理这类高分辨率图像，本文作者受多视角学习的启发，提出了一种将高分辨率图像分割成多视角补丁序列的思路：

• 全局视角：通过对高分辨率图像进行下采样，生成包含全局信息的低分辨率图像，这些图像提供了远视角的信息，帮助模型理解场景的整体语义。
• 局部视角：高分辨率图像也会被裁剪成多个不重叠的局部补丁，每个补丁包含了丰富的局部细节，提供近视角信息，用于捕捉精细的边缘和结构。
• 通过结合这些不同视角的输入，模型能够更全面地理解图像的全局和局部特征，并实现更加精确的目标分割。

4. 本文的方法：将多视角学习应用于图像分割

受上述多视角学习成功应用的启发，作者提出了在DIS任务中将高分辨率输入图像分解为多视角补丁序列的策略。具体做法是：

• 将高分辨率图像拆分为低分辨率的全局视角图像（模拟远视角）和多个局部补丁（模拟近视角）。
• 通过这种方式，模型能够同时获取来自全局和局部的互补信息，避免了传统方法中全局与局部特征不兼容的问题。

5. 总结

• 多视角学习不仅提高了模型的泛化能力，还通过从多个视角捕捉不同层次的信息，增强了对复杂场景的理解。
• 作者提出的多视角学习框架，结合全局语义和局部细节，为高精度的图像分割任务提供了一个有效的解决方案。与现有的多阶段或多流架构不同，本文的方法通过单流和单阶段实现了多视角信息的并行融合，既提高了模型的效率，也提升了分割精度。

这部分为后续提出的**多视角聚合网络（MVANet）**奠定了理论基础，说明了多视角学习如何为DIS任务中的全局语义和局部细节提供有力支持。

3. Method

3.1 Overall Architecture

3.2 Multi-view Complementary Localization

3.3 Multi-view Complementary Refinement

3.4 View Rearrangement

在论文的**3.4节：View Rearrangement（视角重排）中，作者详细介绍了视角重排模块（View Rearrangement Module，VRM）**的设计和工作机制。该模块的目的是在解码过程中，将通过多视角互补定位和细化模块提取的全局和局部特征重新整合为一个统一的、高质量的分割预测图。以下是对该部分的详细解释：

1. 模块设计的动机

多视角处理策略能够有效地将高分辨率图像分解为多个局部补丁和一个全局视角，但这种做法带来一个挑战：邻近补丁的边界可能会出现错位问题。这些错位可能导致最终分割结果中目标物体边界的不连续性或不准确性。因此，视角重排模块的设计旨在通过对局部特征和全局特征的进一步整合，解决局部特征边界对齐的问题，生成最终的高质量分割图。

2. 特征的整合与重排

• 在解码的最后阶段，输出的特征图 $D_1^{\prime }$ 被划分为全局特征和局部特征两部分：

  • 全局特征：从远视角（低分辨率的全局图像）中提取的全局特征。
  • 局部特征：从近视角（多个局部补丁）中提取的局部特征，这些特征包含细粒度的物体边缘和细节信息。

  这些局部特征在经过细化模块后，已经与全局特征进行了多层次的交互，但仍然需要对补丁之间的边界进行进一步的调整，以确保最终输出的分割图没有补丁之间的错位问题。

3. 局部特征的重新组合

• 局部特征的拼接：首先，作者将局部特征沿着批量维度进行分割，并按照它们在原始高分辨率图像中的空间位置进行重新组合。这个操作确保每个补丁被放置在正确的位置，形成一个完整的全局图像。

4. 卷积操作对齐特征

• 为了解决局部补丁之间的错位问题，作者设计了一个卷积头（Convolution Head），它由三个卷积层组成，这些卷积层之间穿插了批量归一化（Batch Normalization, BN）和ReLU激活函数。这些卷积操作的目的是平滑邻近补丁的特征，使得边界对齐问题得到解决。

  具体来说，卷积头会对重新组合的局部特征进行处理，逐层应用卷积以消除补丁之间的边界错位，使得补丁之间的特征能够更加自然地融合，确保最终的分割结果在边界区域没有断裂。

5. 全局和局部特征的最终融合

• 在通过卷积头处理局部特征之后，作者将这些对齐的局部特征与从全局特征图中分割出来的全局特征进行融合。这种融合采用加法操作，将全局上下文信息和局部细节信息进行整合，进一步提升分割结果的细节和语义一致性。

• 通过将卷积头对齐的特征和全局特征融合，最终生成了一个包含全局语义信息和细节边界信息的高质量分割图。这种方法确保了远视角提供的全局语义信息与近视角提供的局部细节之间的自然过渡。