2022-MIA：基于边界感知上下文神经网络的医学图像分割Boundary-aware context neural network for medical image segmentation

摘要

医学图像分割可以为进一步的临床分析和疾病诊断提供可靠的依据。随着卷积神经网络（CNN）的发展，医学图像分割性能有了显著的提高。然而，大多数现有的基于CNN的方法往往产生不令人满意的分割掩模没有准确的对象边界。这个问题是由有限的上下文信息和连续池化和卷积操作后的不充分的区分特征映射引起的。此外，医学图像的特点是高类内变化，类间不区分和噪声，提取强大的上下文和聚合的细粒度分割的区别性特征仍然具有挑战性。在这项研究中，我们制定了一个边界感知上下文神经网络（BA-Net）的二维医学图像分割，以捕捉更丰富的上下文和保留精细的空间信息，它结合了编码器-解码器架构。在编码器子网络的每一级中，提出的金字塔边缘提取模块首先获得多粒度边缘信息。然后，一个新设计的迷你多任务学习模块，用于联合学习分割的对象掩模和检测病变边界，其中一个新的交互式注意层被引入到桥梁的两个任务。通过这种方式，实现了不同任务之间的信息互补，这有效地利用了边界信息，为更好的分割预测提供了强有力的线索。最后，交叉特征融合模块用于选择性地聚合来自整个编码器子网络的多级特征。通过级联这三个模块，每个阶段的更丰富的上下文和细粒度的特征被编码，然后交付给解码器。在五个数据集上的大量实验结果表明，所提出的BA-Net优于最先进的技术。

高类内变化：医学图像中的不同部分可能会有非常细微的变化。这意味着即使是同一类型的组织或器官，
在不同的图像中也可能看起来略有不同。
类间不区分：医学图像中的不同结构可能在外观上非常相似。例如，肿瘤可能与周围的正常组织在图像
上看起来非常相似，这使得自动识别和分割肿瘤变得更加困难。

事件背景。受上述分析的启发，我们提出了一种新的基于边界感知方法（BA-Net）的卷积网络框架用于医学图像分割，该框架遵循经典的编码器-解码器结构。具体地，在编码器子网络的每一级中，首先嵌入金字塔边缘特征提取模块（PEE），以在具有多个粒度的特征级别上关注边界周围的信息。之后，我们将这些提取的特征传递到一个新设计的迷你多任务学习模块（mini-MTL）中，该模块联合监督分割和边界图预测，考虑到对象边界定义了对象形状，因此为目标对象的分割提供了补充线索。在该模块中，为了充分利用从这些不同任务中获得的功能，引入了交互式注意力（IA）层。IA利用来自不同任务的交互信息来监督所识别的目标区域的建模。这些与相关任务有关的交互式消息有助于改进分割性能。最后，提出了一种交叉特征融合模块（CFF），通过选择性地聚合来自整个编码器子网络的多层次特征，进一步捕获有价值的上下文并保留精细的空间信息。通过级联这三个模块，编码了每个阶段的更丰富的上下文和细粒度特征。在解码器子网络中，特征图被顺序地整合以获得最终的分割预测。最后，我们在多个公共医学图像数据集上评估了我们的BA-Net，并在这些数据集上实现了一致的性能改进。

贡献

总之，这项工作的贡献是四方面的：·

1. 我们提出了一种新的边界感知上下文神经网络用于2D医学图像分割，其中编码器采用PEE，mini-MTL和CFF模块来产生更丰富的上下文信息来指导解码过程。
2. 设计了嵌入IA层的PEE模块和mini-MTL模块，在同一层次上充分挖掘上下文特征，有效利用边界信息为更好的分割预测提供补充信息。·
3. 我们构造了一个CFF模块，以选择性地将来自编码器子网络的各个阶段的跨级别特征合并到当前阶段。以这种方式，实现了不同特征级别之间的信息互补。
4. 我们进行了全面的实验，并针对不同的任务实现了出色的最先进的分割性能，包括皮肤病变、结直肠息肉、肺部和视盘分割。实验结果证实了该方法的有效性。

方法-Methodology

在本节中，我们描述了我们提出的边界感知上下文神经网络的构造以及三个核心模块（即，PEE、mini-MTL和CFF）。

1. 概述-Overview

如图2所示，所提出的BA-Net具有编码器解码器架构，并且从ResNet开始（He等人，2016）作为骨干（在ImageNet上预先训练（Russakovsky等人，2016年））。在编码器子网络中，首先删除ResNet的最后一个全局池和全连接层。仅保留用于主要特征提取的一个卷积和四个残余卷积块。不失一般性，对于输入图像，我们将四个残差块的输出特征表示为Fi，i ∈ { 1，2，3，4 }。为了进一步扩大感受野，ResNet中的最后两个块使用atrous卷积（atrous率= 2）进行修改。通过移除池化操作来维持与先前块相同的空间分辨率。因此，每个块的输出尺寸是输入图像的1 / 4、1 / 8、1 / 8和1 / 8。此外，还可以使用一种无网格空间金字塔池化模块（ASPP）（Chen等人，2017）被用于最后一个残差块的顶部特征图，以捕获和编码多尺度特征。ASPP模块包括四个具有不同atrous速率的并行atrous卷积和一个全局平均池化。ASPP的输出特征通过上采样和一个1 × 1卷积（具有256个通道）连接，进一步整合和压缩特征图。为了产生更丰富的上下文信息来指导解码器处理，我们定制了三个模块，以充分挖掘编码器子网络的每个阶段中的相同级别的特征并聚合来自不同级别的其他特征。为了探测和聚合当前级别边界周围的多粒度信息，建议PEE首先采用。然后，通过利用相关边界检测和分割任务之间的潜在相关性和互补特征，采用mini-MTL来捕获更丰富的知识。其次，mini-MTL模块的特征映射进一步实现了不同层次之间的互补，并通过所提出的CFF细化了高、低层次的编码特征。一旦该编码过程完成，在解码器阶段，通过聚合来自ASPP模块的输出特征图并依次对每个阶段的特征进行编码来获得解码特征Di，i ∈ { 1，2，3，4 }，以用于最终的分割预测。

图注：拟议的BA-Net的工作流程。在编码器子网络的每一级中，我们首先通过金字塔边缘提取模块（PEE）获得边缘附近的多粒度响应。然后，迷你多任务学习模块（mini-MTL）共同学习分割对象掩模和检测病变边界。最后，交叉特征融合模块（CFF）选择性地聚合来自整个编码器子网络的多级特征，从而进一步捕获有价值的上下文并保留精细的空间信息。这里，H和W分别用于指示输入图像的高度和宽度。

2. Pyramid edge extraction module–金字塔边缘提取模块PEE

尽管病变区域的边缘提供了关于目标对象位置的重要线索，但是病变区域的边界通常是复杂和多样的。位于边界附近的像素-直观的例子-是不可区分的（见图1）。
图三

图注：提出的金字塔边缘提取（PEE）模块的结构。当i = 1时，（h，w）=（H/ 4，W/ 4），并且当i = 1时，（h，w）=（H/ 8，W/ 8）。这里，H和W分别表示输入图像的高度和宽度。
因此，一个自然的想法是根据这些像素的周围环境来获得病变区域周围的像素的不同表示。通过这种方式，网络可以收集更丰富的信息。为了获得鲁棒的补充边界信息，我们设计了一个简单有效的金字塔特征提取方案，用于挖掘编码器子网络中每个阶段边缘周围的多粒度信息。如图3所示，我们首先使用1 × 1卷积从骨干的每个阶段中的最后一个残差块中挤压特征图Fi，i ∈ { 1，2，3，4 }。然后，采用简化的特征图作为PEE模块的输入。该过程可定义如下：
我们有方程式 ：
$$i=F(Fi;\theta i),i\in 1,2,3,4$$
其中，Fi表示每个残差块的缩减特征图，F是1 × 1卷积函数，其中θi表示不同块的相应卷积参数。我们通过从其局部卷积特征图中减去具有不同大小的平均池化的值来获得边缘附近的多个粒度响应。不失一般性，我们定义S池操作：

其中F（s）i，P表示当前第i级的第s次池化操作的边缘特征，并且a v g _ s是对应的平均池化操作。
充分利用这些多粒度特征F（1）i，P，…，F（S）i，P，我们通过连接它们来将它们与当前阶段的原始特征Fi聚合，并使用1 × 1卷积运算将它们合并。

其中C指的是级联（concatenation）过程。Fi，P是编码器子网络当前阶段PEE模块的输出特征图，θi，P表示卷积F的相应参数。这些多粒度响应有效地增强了表示能力，这引导模块更多地关注边界附近的像素。随后，输出地图被馈送到迷你MTL模块，以促进更精细的特征提取。

拼接（concatenation）是将两个或多个对象在某一方向上依次连接起来的操作。在计算机编程和数据处理中，拼接通常指的是将两个字符串、数组、列表或其他数据结构连接成一个更大的对象。

3. Mini multi-task learning module–迷你多任务学习模块(mini-MTL)

自然地，对目标边缘的额外了解可以帮助精确识别目标形状，而边缘检测提供了语义分割的强大补充信息（Wang等人，2019年；Zhang等人，2019年；Zhao等人，2019b年）。引入边缘检测任务后，网络被引导着专注于边界周围特征的表达，然后，进一步改进边缘的分割准确度。基于这一直觉，我们提出了一个嵌入在每个阶段中的迷你多任务学习（mini-MTL）模块，用于联合学习，以在避免引入大量参数的同时，分割对象掩膜并检测病变边界。图4显示了我们提出的迷你-MTL网络的架构。

图注：提出的迷你多任务学习（mini-MTL）模块的示意图，由两个任务特定的分支和一个交互式注意力（IA）层组成。输入特征图是从前一个模块生成的。当 i = 1 时，(h, w) = (H/4, W/4)，当 i = 1 时，(h, w) = (H/8, W/8)。这里，H 和 W 分别表示输入图像的高度和宽度。
多任务网络的特征编码部分包含两个组件：任务特定的编码分支和一个IA层。具体来说，每个分支都有两个卷积层，用于编码与任务相关的特征。IA层旨在自适应地实现任务交互和信息选择性补充。在任务特定的监督组件中，首先，通过卷积层减少特征通道的数量，以匹配像素类别的数量。然后，使用一个上采样层来获得相应的预测掩膜，以匹配目标输出大小。
具体地，在第i阶段，将PEE模块的特征图FiP作为两个分支的输入，用于进一步同时提取任务相关特征。


其中F（l）i，E和F（l）i，S别表示从边缘检测子网络和分割子网络的第 l 个卷积层提取的特征图，其中l ∈ { 1，2 }。特别地，F（0）i，E和F（0）i，S表示PEE模块的特征F i, P。F是3 × 3卷积函数，分别具有相应的参数θ（l）i，E和θ（l）i，S。IA位于第一个卷积层，旨在从不同的任务中挖掘交互信息。

如图5所示，为了整合来自另一个任务的有效信息，我们设计了一个简单而有效的交互式注意力整合方法，该方法自适应地将不同的信息传递给不同的任务。具体来说，核心设计动机是通过引入其他任务的有用信息来补充当前任务中缺失的内容。

图注：提出的的交互式注意力（IA）方法的结构。该图显示了IA进行边缘特征集成的示例。当i = 1时，（h，w）=（H/ 4，W/ 4），并且当i = 1时，（h，w）=（H/ 8，W/ 8）。这里，H和W分别表示输入图像的高度和宽度。

以边缘特征融合为例，首先使用sigmoid函数生成权值掩码，该权值掩码不仅指示当前具有高响应值的边缘特征图F（1）i，E的位置，还指示它们的显著程度。
然后，通过从所有元素为1的映射中减去上述权重掩码来生成反向注意力权重。设计这种反转操作的动机来自于这样的观察，其中在某些情况下，由于前景和背景的复杂混合，实际上属于前景的某些区域不幸地具有相对弱的响应。因此，从另一个角度来看，过滤具有被低估的响应的区域并重新评估这些区域，有利于分割使命的性能;否则，这些区域的错误识别结果是不可避免的。通过这种反向操作，相对于当前任务，具有弱响应的特征分量被给予更高的关注，从而从另一个角度引导网络关注未检测到的区域。预期这些任务将得到其他任务信息的补充。最后，可以使用所生成的反向注意力掩码和逐元素乘积运算将有用信息从分割特征F（1）i，S选择性地传递到当前边缘特征F（1）i，E。

分割分支上的特征集成是类似的。因此，整个互动过程可以表述如下：

其中σ表示生成滤波器掩码的S形激活函数，而1 − σ（·）用于生成反向掩码。表示元素级乘积。建议的IA模块是基于门控机制，没有额外的参数。通过这种方式，IA模块可以有效地传递来自不同任务的信息。此外，有用的信息可以通过注意力被调整到正确的位置，无用的信息可以同时在发送者和接收者双方被抑制。在IA层之后，我们进一步实现了第二个卷积层，以合并每个任务的信息。最后，可以通过聚合来自这两个任务的特征来获得具有更丰富上下文的当前阶段Fi，M的表示：
其中σ表示生成滤波器掩码的S形激活函数，而1 − σ（·）用于生成反向掩码。表示元素级乘积。建议的IA模块是基于门控机制，没有额外的参数。通过这种方式，IA模块可以有效地传递来自不同任务的信息。此外，有用的信息可以通过注意力被调整到正确的位置，无用的信息可以同时在发送者和接收者双方被抑制。在IA层之后，我们进一步实现了第二个卷积层，以合并每个任务的信息。最后，可以通过聚合来自这两个任务的特征来获得具有更丰富上下文的当前阶段Fi，M的表示：
其中F表示具有参数θi，M的1 × 1卷积。C是指连接操作。
为了有效的多任务学习，两个分支以端到端的方式使用IA模块进行联合监督和学习。因此，在特定于任务的监督组件中，我们采用卷积层和上采样层来生成相应的边缘和分割预测结果，即，P i，E和P i，S，它们与目标尺寸相匹配。
其中F表示1 × 1卷积，其具有表示每个像素的类别的两个输出通道（即，前景和背景）。θ Pi，E和θ Pi，S分别是对应的卷积参数。Up（·）表示上采样函数，其用于对缩减的特征图进行上采样以匹配目标输出大小，并且arg max（·）是最大值的位置索引函数。这里，边缘图和分割图都是对象和对象类的轮廓的二进制表示。我们期望mini-MTL模块的边缘和分割预测输出通过最小化损失来近似对应的地面实况掩码（分别由G E和G S表示）：
其中BCE（·，·）是二进制交叉熵损失函数，具有以下公式：
这里，P j和G j分别指示预测边界（分割）图P i、E（P i，S）的第j个像素和对象边界（分割）的真实掩模G E（G S），并且N表示像素数。因此，第i个mini-MTL模块中的总损耗可以表示为：
这种联合学习有助于保留对象边界附近的细节。有了这个模块，BA-Net可以在当前阶段生成更准确、更符合边界的特征。4. Cross feature fusion module–交叉特征融合模块CFF
在编码器子网络中，低级特征具有丰富的空间细节，而高级特征具有更丰富的语义信息（Zhang et al.，2018年）。不同层次特征表示的自适应集成不仅实现了多层次特征之间的优势互补，而且有效地提高了网络的远程上下文学习能力。为了利用互补的空间结构细节和语义信息，我们提出了CFF模块，该模块有选择地聚合不同级别的特征，并细化高级别和低级别的特征图。如图6所示，对于第i个特征图Fi，M，所设计的CFF模块使用注意机制从多个输入特征Fi，M，j = i中自适应地选择互补分量。该方案主要是受到IA层通过收集不同任务的互补信息来增强其表示能力的机制的启发。与之类似，CFF模块确保了互补性，收集来自各个阶段的信息。

图注：所提出的交叉特征融合（CFF）模块的示意图。当i = 1时，（h，w）=（H/ 4，W/ 4），并且当i = 1时，（h，w）=（H/ 8，W/ 8）。这里，H和W分别表示输入图像的高度和宽度。

在实践中，为了避免聚合过程中不同阶段的特征冗余，我们首先采用sigmoid函数作为自注意操作，以在乘积操作之前突出F j，M，j = i的显著特征：
其中σ表示S形激活函数。1 − σ负责估计非显著特征的位置和范围，随后将其用作从其他级别收集相应信息的掩码。表示元素级乘积。特别地，对于i = 1，我们使用双线性插值Up（·）将其他级别的特征映射转换为统一的大小。CFF模块自适应地集成了不同层次的信息，实现了跨层次信息的互补。此外，各种级别的特征表示被纯化。另外，可以有效地避免引入过多的冗余信息。
通过这三个级联的模块，可以在每个阶段捕获保存丰富细节以及语义信息的更精细的上下文特征图Fi、C，其在解码器过程中被进一步利用。

5. Decoding and optimization–解码和优化

在解码器子网络中，我们通过依次聚合来自ASPP模块的输出特征图FA和每个阶段的编码特征来获得解码特征Di，i ∈ { 1，2，3，4 }，用于最终的分割预测：
其中D i表示每一级的解码特征，F是1 × 1卷积的函数，其中θi，D表示解码器部分的相应卷积参数。随后，实现另一卷积滤波器和上采样层以生成最终预测掩码P。这可以表示如下：

其中θP是1 × 1卷积参数。解码器子网络的监督还考虑标准二进制交叉熵损失来测量P与地面真值GS之间的关系，其可以公式化如下：

在端到端训练过程中，总损失函数包括两个分量，即，上述多任务模块的解码器损失和辅助损失，其由下式给出：

这里，L D表示解码器损失，λi表示平衡参数。注意，λi根据经验设置为1.0。边界信息帮助更新并引导通过损失的最终分割预测的生成。因此，整个网络都知道对象边界，并细化结果