《多级聚合与递归对齐架构用于高效的并行推理分割网络》论文解读

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”

---

导读

来自西北工业大学，设计了一种新的语义分割网络架构。

摘要

实时语义分割是实际应用中的关键研究领域。然而，许多方法过于强调降低计算复杂度和模型大小，而在很大程度上牺牲了准确性。为了解决这个问题，我们提出了一种针对语义分割任务定制的并行推理网络，以实现速度和准确性之间的良好平衡。我们采用浅层主干网络以确保实时速度，并提出了三个核心组件来弥补因减少模型容量而导致的准确性下降。具体而言，我们首先设计了一种双金字塔路径架构（多级特征聚合模块，MFAM），用于从编码器聚合多级特征到各个尺度，为后续的空间对齐和相应的网络内推理提供层次线索。然后，我们通过结合基于流的对齐模块和递归上采样架构构建了递归对齐模块 (RAM)，以实现多尺度特征图之间精确的空间对齐，其计算复杂度仅为直接对齐方法的一半。最后，我们对对齐后的特征进行独立的并行推理以获得多尺度得分，并通过基于注意力的自适应得分融合模块 (ASFM) 适配性地融合这些得分，从而使最终预测能够偏向于多个尺度的对象。我们的框架在 Cityscapes 和 CamVid 数据集上相比最先进的实时方法显示出了更好的速度与准确性之间的平衡。我们也进行了系统的消融研究以深入了解我们的动机和架构设计。代码可在 https://github.com/Yanhua-Zhang/MFARANet 获取。

1、介绍

语义分割，旨在对图像中的每一个像素进行标记，是计算机视觉的基本任务之一。近年来，深度卷积神经网络 (DCNN) 在图像分类方面的架构进展极大地促进了其他视觉识别任务，包括语义分割。虽然基于 DCNN 的语义分割方法显著提高了准确性，但由于模型尺寸较大或复杂度较高，它们很难直接应用于实际场景。一些应用，如自主导航或驾驶辅助系统，要求分割模型能够在大型图像上维持实时推理速度以提供更广阔的视野，这给系统带来了更大的计算负担。这使得实时语义分割成为一个具有挑战性的研究课题。

为了在GPU上实现实时推理速度，一些模型通过采用卷积分解或设计浅层架构来降低计算复杂度。其中，ERFNet通过不对称卷积将标准的 3×3 卷积分解为 3×1 和 1×3 操作，理论上减少了大约 1.5 倍的计算量。ICNet使用浅层网络来获取空间细节，并将下采样的图像输入到更深的网络中以提取语义信息。虽然上述方法显著提高了推理速度，但它们的准确性也大幅降低。对于一些实际应用而言，分割准确性同样重要。

获取多尺度特征是提高分割准确性的关键点之一，因为在视场中物体出现在不同的尺度上。如图 2(a) 所示，图像金字塔是一种直接获取分层特征的方法。它将原始图像缩放到多个分辨率以生成一组图像，然后将这些图像独立地输入到同一个神经网络中以获得多尺度得分。由于其在提高性能方面有效，基于图像金字塔的多尺度推理已成为以准确性为导向的方法在评估阶段的常用操作。然而，高计算复杂度和大量内存成本使其难以直接用于实际应用和端到端网络训练。

与图像金字塔相比，利用深度卷积神经网络 (DCNN) 固有的多尺度特性是一种更高效的获取分层特征的方式，广泛被准确性导向和速度导向的分割网络使用。通过堆叠步幅卷积层，DCNN 的不同阶段提取具有不同感受野和空间分辨率的多级特征。在分割任务中，最流行的方法是将多阶段特征聚合到最高分辨率级别，然后基于融合的特征图进行单一尺度的预测。例如，DFA设计了一个双路径解码器来聚合轻量级主干网络的多级特征，而 Panoptic FPN则直接通过逐元素求和操作融合上采样的特征。然而，这种特征级别的融合会导致分层表示的效率降低，原因是存在语义差距和空间错位。

除了从特征管道中组合和预测外，另一种方法是在编码器的每一层进行并行推理以生成多个得分图，然后对它们进行后期融合。FPN提出的这种网络内的并行推理架构（图 2(b)）在目标检测任务中被广泛应用。然而，将这种架构适应于语义分割任务尚未被深入探索。一些分割网络要么简单地将多级预测作为一种额外的精度提升策略，要么专注于使用从粗到细的策略。它们在编码器的不同阶段直接且独立地进行预测，从而根据相应特征中所含的语义或局部空间细节信息生成粗糙或精细的得分图。在这里，我们指出，为目标检测设计的 FPN 架构不适合直接应用于分割任务，主要原因有两个：首先，独立地在每一级获取得分图并不是最优选择，因为高级别的语义信息和低级别的空间细节都是分割的重要线索。图像金字塔（图 2(a)）在每一尺度上对多级特征进行推理，而 FPN 缺乏在顶部和中尺度推理中的低级特征；其次，用于目标检测的 FPN 不需要考虑多尺度像素级预测的融合，这是精细分割任务中的重要因素。当融合得分图时，上述分割方法简单地通过双线性插值上采样低分辨率地图，这很难用来恢复长距离连接和重复下采样造成的空间错位。

不同的是，我们设计了一种针对语义分割任务定制的并行推理网络，该网络能够为每一级的预测提供丰富的分层特征以获得多尺度得分，就像从图像金字塔中获得的一样，但比它更高效。为此，我们提出了一种多级特征聚合模块 (MFAM) 以聚合编码器的分层特征到每一尺度，以便进一步对齐和推理。基于从 MFAM 获得的特征，我们设计了一个递归对齐模块 (RAM) 以实现多尺度得分图之间的空间对齐，它的计算复杂度仅为直接对齐方法的一半。通过结合基于流的对齐模块和我们提出的递归上采样架构，RAM 利用中间特征进行逐步对齐。此外，通过采用基于像素的注意力以适配性方式融合多尺度得分，提出的自适应得分融合模块 (ASFM) 生成最终预测，有利于多个尺度对象的分割。值得一提的是，从消融实验中，我们发现了一种针对这种并行推理架构的剪枝方法，即在整个网络上进行训练，并在测试阶段移除某些尺度。然而，使用网络剪枝来减少模型复杂度不是本文的重点，因此仅在图 9 中进行了说明，并在第 4.2.8 节中进行了讨论。最后，为了增强网络训练，我们提出了多尺度联合监督 (MJS)，在预测的每一尺度上添加额外的监督。它采用交叉熵 (CE) 来计算分割预测和边界预测的损失，并使用正则化项来保持它们之间的一致性。

我们的主要贡献总结如下：

1. 我们提出了 MFAM，通过双路径架构和侧向连接以信息流动的方式融合多级特征。借助这种简单且高效的结构，我们可以在每一尺度上聚合低级的空间细节和高级的语义信息，以减轻语义差距，促进后续的空间对齐和预测。

2. 为了避免不同尺度特征之间的空间错位，我们设计了 RAM 以采用中间特征进行逐步对齐，这种方法比直接对齐更加准确和快速。此外，结合 MFAM，我们的 RAM 可以在不受语义差距干扰的情况下对齐多尺度得分图。

3. 与从特征管道中融合和推理不同，我们设计了一种针对语义分割任务定制的并行推理网络以获得多尺度得分，并建立了基于像素的注意力 ASFM 来适配性地融合它们以提高准确性。

4. 最后，我们使用 MJS 在每一尺度上联合监督分割预测和边界预测，以增强特征表示并促进网络训练。

2、相关工作

在基于深度卷积神经网络 (DCNN) 的文献中，有大量的工作关注于准确性导向或速度导向的语义分割。以下，我们主要回顾与我们的方法相关的语义分割中的多尺度/并行推理、多级特征聚合和特征对齐技术。

2.1. 多尺度/并行推理

由于物体在类内和类间存在高度的尺度变化，获取多尺度特征或预测是提高语义分割准确性的一个关键点。在图像金字塔上进行多尺度推理（图 2(a)）是最直接获取多尺度得分图的方法。DeepLabv2通过共享网络从一组重缩放的原始图像中提取多个得分图，并通过最大操作在它们之间进行跨尺度融合。Chen 等人提出使用注意力机制对得分图之间的每个像素进行软加权。Tao 等人将基于像素的注意力与链式结构相结合以融合多尺度预测。目前，基于图像金字塔的多尺度推理操作已在评估阶段广泛用于提高分割准确性。然而，这种方法独立地通过网络传递多个缩放的图像，这会指数级增加计算复杂度和内存消耗，使其难以应用于端到端网络训练和需要实时处理的应用中。

为了提高效率，一些网络在编码器的多级特征图上进行并行推理以生成多个得分图。FCN8s和Hypercolumns是早期尝试融合顶层预测与中间层高分辨率预测以生成最终预测的例子，目的是使他们的网络能够学习更精细的细节。类似地，DAG-RNN和DeepLab直接采用这种多级并行推理方法作为一种额外的性能提升策略。NDNet使用卷积层对多尺度得分进行加权融合，并采用可分离卷积来构建轻量级的 FCN8 以实现实时推理速度。GCN、CGBNet和 SABNet都遵循类似的网络结构设计流程，并采用从粗到细的策略，即利用中间层的高分辨率精细预测逐渐细化顶层的低分辨率粗糙预测。

独立地在编码器的单一级别特征上进行推理以获得粗糙或精细的得分图并不是最优选择，因为多级特征共同为分割提供了丰富的线索。不同的是，我们提出了 MFAM 以聚合编码器的多级特征到每一尺度，为后续预测提供分层信息。此外，通过使用 RAM，我们解决了多尺度得分融合过程中的空间错位问题，这个问题被上述方法所忽略。

2.2. 多级特征聚合

作为一种有效的提高准确性的方法，多级特征聚合被准确性导向和速度导向的分割方法广泛使用。FPN（图 2(b)）采用自顶向下的路径以信息流动的方式将其他级别的特征聚合到最低级别的特征中，其中中间级别的特征通过侧向连接进行融合。基于类似于 FPN 的架构，许多方法直接采用逐元素求和或通道拼接来融合多级特征。在较为复杂的方法中，特征重用是一个常用的机制。PANet和 SGCPNet添加了一个自底向上的路径来整合自顶向下路径的中间层特征。相比之下，DFANet 和RGPNet首先采用自底向上的路径从编码器聚合特征，然后再采用自顶向下的路径来拒绝自底向上路径的特征。ShelfNet使用三条重叠的路径来重用前一条路径的特征。对于不同于特征重用的方法，Lin 等人提出了一个交织架构，以双向方式在相邻尺度之间交换信息。ZigZagNet采用密集连接来混合自顶向下和自底向上网络之间的特征图。Weng 等人使用长距离跳过连接来融合自顶向下路径中最低级别特征与中间级别的特征以实现实时分割。所有上述方法都将多级特征集成到最高分辨率的特征中以获得单一得分图，而我们的 MFAM 将多级特征聚合到每一尺度以生成多尺度得分图。

2.3. 特征对齐/上采样

DCNN 需要通过重复的最大池化或步幅卷积来扩大感受野，因此编码器的高级特征和最终预测不可避免地会被下采样。双线性插值被广泛用于上采样特征/得分图，因为它简单且快速。然而，它过于简单并且与数据无关，使得很难对齐多级特征。为了避免空间错位，Noh 等人采用反池化层和反卷积层构建解码器以恢复低分辨率特征图的细节。为了保证效率，SegNet使用存储在编码器中的池化位置来实现解码器对应级别的非线性上采样。最近，GUN提出了一种变换模块来学习两个不同分辨率特征之间的二维偏移量，以实现实时分割中的引导上采样。AlignSeg、FaPN和 SFNet 共享相似的动机，并且都提出使用基于流的对齐模块来估计二维变换偏移量以实现可学习的插值。上述基于流的对齐方法在编码器的不同级别之间融合特征，因此在进行空间对齐时需要弥合语义差距。多级特征之间的语义差距可能会误导对齐模块中的变换偏移量学习。此外，它们被用于没有大分辨率差异的相邻特征，而我们的 RAM 是专门设计用于对齐长距离特征图的。

3、方法

3.1. 概览

如图 3 所示，我们提出了三个互补的模块来构建我们的并行推理网络：MFAM、RAM 和 ASFM。对于 MFAM，我们通过自顶向下和自底向上的路径以及路径间的侧向连接来构建，以实现路径间的信息交换。这样的结构具有三个优点。首先，与长距离跳过连接（图 5）相比，它可以以信息流动的方式聚合长距离特征以缩小语义差距。其次，通过将编码器的分层特征聚合到每一尺度，该架构可以为相应尺度的预测提供高级别的语义信息和低级别的空间细节。第三，由于从 MFAM 输出的每个特征图都聚合了同一编码器的多级特征，我们有理由相信输出特征之间的语义差距大大缩小。这将有利于随后的空间对齐模块中的变换偏移量学习。基于从 MFAM 获得的多尺度特征，我们构建了四个独立的并行路径来进行多尺度推理。在 ASFM 之前，我们首先设计了 RAM 来结合基于流的对齐模块与递归上采样架构，以解决多尺度得分图之间的空间错位问题。最后，我们提出了 ASFM 来对多尺度得分进行适配性融合，训练过程由我们定制的监督函数 MJS 进行。

3.2. 多级特征聚合模块 (MFAM)

我们从编码器开始描述如何构建我们的 MFAM。选择 ResNet-18 作为主干来获取多级特征主要有两个原因。首先，它非常适合微调，因为预训练参数公开可用。我们的网络可以通过加载在 ImageNet 上训练的权重来受益于知识迁移。其次，由于适度的深度和残差结构，它促进了训练效率并具有较低的模型复杂度，可用于构建实时分割网络。ResNet-18 包含四个阶段（又称块），分别提取空间分辨率为输入图像的 1/4、1/8、1/16 和 1/32 的多级特征图（图 3(a) 中的 S1 至 S4）。此外，我们使用两个空洞卷积层，膨胀率分别为 2 和 4，替换了主干中最后两个阶段的步幅卷积，以扩大感受野。不同的是，我们没有将步幅卷积的步长从 2 改为 1，而是增加了最后两个阶段的感受野而不改变特征图的大小（仍然是输入图像的 1/16 和 1/32）。这可以在略微降低推理速度的同时显著提高准确性（表 1，原生 FPN 与改进 FPN）。

基于编码器的多级特征，我们通过自顶向下的路径将最高级别的特征流向最低级别的特征。在这个过程中，我们利用特征融合模块来聚合中间级别的特征并将它们传递给更低级别的特征，使得自顶向下路径的输出融合了更高级别的特征（例如，U2 聚合了 S2 至 S4）。值得注意的是，所有来自编码器的特征在输入自顶向下路径或自底向上路径之前都使用了一个 1×1 的卷积层来调整通道维度，图 3(a) 中为了简洁省略了这一点。对于自顶向下路径中的特征融合模块，我们采用了简单通用的设计以确保效率。我们使用双线性插值来上采样更高级别的特征，然后使用逐元素加法后跟一个 3×3 的卷积层来融合特征。这个过程可以用数学公式表示为：

这里，我们直接从 S4 获取 U4：𝑈4=conv1×1(𝑆4)。conv1×1 代表一个 1×1 的卷积层用于特征通道调整。conv3×3是一个 3×3 的卷积层用于特征融合。Up表示双线性上采样。同样地，我们构建了一个自底向上的路径，将编码器中最低级别的特征流向最高级别的特征，使得结果特征聚合了更低级别的特征。我们仍然采用简单的特征融合模块来融合相邻级别的特征，但是我们使用双线性插值来下采样特征而不是上采样。这可以用数学公式表示为：

这里 𝐷1=conv1×1(𝑆1，DownDown 表示双线性下采样。通过使用上述两条路径，自顶向下路径中的最低级别特征 (U1) 和自底向上路径中的最高级别特征 (D4) 聚合了编码器中所有级别的特征，但在中间尺度特征（例如，D2 聚合了 S1、S2 但缺乏 S3、S4）中还没有完成。因此，我们在两条路径之间添加了两个侧向连接，以在这两条路径之间传递信息，从而使中间尺度特征（F2 和 F3）包含完整的级别特征。例如，D3 聚合了 S1、S2 和 S3，而 U3 包括了 S4。然后，我们可以通过 D3 和 U3 之间的侧向连接获得融合了 S1 至 S4 的 F3。这个过程可以数学地表示为：

我们比较了我们的 MFAM 与 FPN 类似架构（图 2(b)）以及基于长距离跳过连接的聚合（LSCA）架构（图 5），以帮助读者更清楚地理解我们设计的动机。FPN 类似架构利用自顶向下路径和侧向连接来在所有阶段获取高级别的语义特征，但其最高级和中间级别的特征缺乏低级别的信息。LSCA 是我们最初为融合多级特征而设计的架构。尽管它可以明确地融合多级特征，但使用长距离特征之间的长跳过连接（例如，S4 到 S1）进行融合会导致比相邻特征融合更大的语义差距和错位。定量比较将在表中给出。

3.3. 递归对齐模块 (RAM)

我们在RAM中采用基于流的对齐模块来学习不同分辨率特征之间的2D变换偏移量，以指导上采样。然而，我们与上述方法存在明显的区别。首先，我们的RAM的目标是通过对分割头之前的特征进行对齐来实现得分图之间的空间对齐，而不是用于特征融合。其次，先前的MFAM与我们的RAM相辅相成，它可以缩小多尺度特征之间的语义差距，防止偏移量学习被误导。第三，我们特别为长距离特征图设计了逐步对齐的方式，而上述方法使用它们的基于流的对齐模块来处理相邻且没有较大分辨率差异的特征。如图4(a)中的红色虚线框所示，基于流的对齐模块可以数学公式化为：

这里，我们使用一个3×3的卷积层来学习高分辨率特征()与低分辨率特征()之间的偏移量(∆)。concat表示通道拼接操作，Up指的是双线性插值上采样。f表示用于根据所学偏移量对特征进行对齐的对齐函数，而是对齐后的特征。

为了实现我们的递归对齐，我们采用中间特征来学习偏移量。具体来说，我们学习F1与F2之间、F2与F3之间、F3与F4之间的偏移量，然后使用这些偏移量以逐步的方式对特征进行对齐。因此，计算偏移量的公式4需要重写为：

获得偏移量后，我们将低分辨率特征(F4, F3, F2)分别对齐到F1。值得注意的是，这些偏移量只需计算一次，并且可以在所有三次对齐过程中共享。图4(b)展示了将F4对齐到F1的一个例子：我们首先使用∆3将F4对齐到F3，然后使用∆2将输出对齐到F2，最后使用∆1将之前的输出对齐到F1。上述过程可以数学化地表述为：

其中初始值 = ；是对应于的最终对齐特征图；{·}表示递归过程。至于f，AlignSeg将双线性插值修改为其对齐函数，而SFNet和FaPN分别采用了可微的双线性采样机制和可变形卷积。为了保持效率，我们直接使用SFNet提出的对齐函数。在计算出∆n之后，+1与之间的扭曲网格可以计算为：

其中代表空间网格中的每个位置。最终，我们采用双线性采样函数来对齐特征：

其中表示+1中warpn的邻域，而wi是由扭曲网格估计的核权重。

在图4中，我们以F4和F1之间的对齐为例，比较我们提出的RAM与直接对齐方法。如图4所示，直接的方法是将F4和F1送入基于流的对齐模块来学习相应的偏移量，然后使用对齐函数直接将F4对齐到F1，而没有使用中间特征。与直接对齐相比，我们设计的RAM不仅更准确而且更高效。

3.4. 适应性得分融合模块

特定尺度下的预测更适合解决特定尺度的对象。具体来说，大尺度特征因其较大的分辨率和较小的感受野，更适合分割小尺度的对象；而具有较大感受野和丰富上下文信息的小尺度特征则更适合分割大尺度的对象。因此，我们设计ASFM来融合多尺度得分，以利于各种尺度的对象。我们采用像素级注意力机制来进行适应性融合。不同之处在于，我们采用这种机制来融合从设计的单次通过网络中获得的多个得分，而不是图像金字塔，这大大提高了效率。此外，通过结合RAM，我们避免了多分辨率得分图之间的空间错位问题，这是之前的方法没有解决的问题。如图3(c)所示，这种机制可以很容易地在我们的网络中实现。我们使用1×1的卷积层构建分割头（图6(b)）来获取得分图，并使用一个3×3的卷积层后面跟着一个1×1的卷积层构建注意力头（图6(a)）来获取每一尺度下的权重图。这一过程可以用数学方式表示为：

然后，ASFM使用权重图来线性融合多尺度得分来获取最终的分割结果：

3.5. 多尺度联合监督

为了进一步提高分割精度，我们提出了多尺度联合监督(MJS)作为我们的增强训练策略。在训练阶段添加额外的监督是一种成本低廉的方式来提高分割精度，因为它可以在推理阶段被舍弃。我们在每个尺度下同时监督分割和边界预测，以增强特征表示。类似于分割头，我们直接在每个尺度的特征上添加一个边界头（图6(c)）来产生第s个尺度的边界图。真实的语义标签经过Sobel滤波器]处理后产生二进制边界标签。

在第s个尺度下，我们的MJS在二进制边界预测上使用平衡的二元交叉熵(BCE)损失，并在分割预测上使用标准的交叉熵(CE)损失。此外，我们在损失函数中采用了GSCNN提出的正则项，该正则项用于保持边界预测和分割预测之间的一致性：

其中i和c遍历所有图像像素和C个语义类别。最终的MJS可以写作：

其中λ1, λ2, λ3是三个超参数，用于控制不同损失之间的权重，我们根据GSCNN中的设置分别将其设置为0.3, 1, 0.1。此外，应用在线难例挖掘(OHEM)来缓解过拟合和数据不平衡问题。参照，我们将选择难例像素的阈值设置为0.7，并确保每个小批量内至少保留100,000个像素。

4、实验

消融实验

和其他方法的对比

6、结论

本文提出了一种多尺度并行推断的单次通过网络——多级特征聚合与递归对齐网络（MFARANet），这是一种新颖的架构，用于实现精确的实时语义分割。具体来说，我们的方法由三个核心组件组成：多级特征聚合模块（MFAM）、递归对齐模块（RAM）和适应性得分融合模块（ASFM）。MFAM旨在将编码器的层次特征聚合到四个独立的尺度上，这不仅为精确分割提供了多级信息，也有助于后续的空间对齐操作。结合基于流的对齐模块与递归上采样架构，我们的RAM可以在缩放得分图之间进行高效而准确的空间对齐。最后，我们设计了ASFM来适应性地融合多尺度得分，以生成有利于各种尺度对象的最终预测。在三个具有挑战性的数据集上的实验表明，我们的MFARANet可以为实时语义分割提供一种通用且有效的解决方案。

—END—

论文链接：https://arxiv.org/pdf/2402.02286v3

请长按或扫描二维码关注本公众号

喜欢的话，请给我个在看吧！