基于边界感知上下文神经网络的医学图像分割

最新推荐文章于 2024-04-24 20:18:45 发布

明初啥都能学会

最新推荐文章于 2024-04-24 20:18:45 发布

阅读量1k

点赞数 14

文章标签：神经网络人工智能深度学习

本文链接：https://blog.csdn.net/qq_45880982/article/details/136990112

版权

基于边界感知上下文神经网络的医学图像分割

摘要
引言
相关工作
方法

Boundary-aware context neural network for medical image segmentation-2022

摘要

医学图像分割可以为进一步的临床分析和疾病诊断提供可靠的依据。随着卷积神经网络（CNN）的发展，医学图像分割性能有了显著的提高。然而，大多数现有的基于CNN的方法往往产生不令人满意的分割掩模没有准确的对象边界。这个问题是由有限的上下文信息和连续池化和卷积操作后的不充分的区分特征映射引起的。此外，医学图像的特点是高类内变化，类间不区分和噪声，提取强大的上下文和聚合的细粒度分割的区别性特征仍然具有挑战性。在这项研究中，我们制定了一个边界感知上下文神经网络（BA-Net）的二维医学图像分割，以捕捉更丰富的上下文和保留精细的空间信息，它结合了编码器-解码器架构。在编码器子网络的每一级中，提出的金字塔边缘提取模块首先获得多粒度边缘信息。然后，一个新设计的迷你多任务学习模块，用于联合学习分割的对象掩模和检测病变边界，其中一个新的交互式注意层被引入到桥梁的两个任务。通过这种方式，实现了不同任务之间的信息互补，这有效地利用了边界信息，为更好的分割预测提供了强有力的线索。最后，交叉特征融合模块用于选择性地聚合来自整个编码器子网络的多级特征。通过级联这三个模块，每个阶段的更丰富的上下文和细粒度的特征被编码，然后交付给解码器。在五个数据集上的大量实验结果表明，所提出的BA-Net优于最先进的技术。

// 重点
大多数现有的基于CNN的方法往往产生不令人满意的分割掩模没有准确的对象边界。
这个问题是由有限的上下文信息和连续池化和卷积操作后的不充分的区分特征映射引起的

引言

概述医学图像分割
图像分割对于医学图像分析很重要，其目的是实现逐像素和细粒度的病变识别（Sharma和Aggarwal，2010; McInerney和Terzopoulos，1996）。随着医学影像技术和设备的发展和普及，超声、磁共振成像（MRI）、计算机断层扫描（CT）等成像方式为诊断和扫描不同种类的疾病提供了一些直观有效的方法。对于不同类型的临床应用，病变、组织或器官的分割已经被采用作为医学图像分析的关键步骤。例如，CT图像中的肺分割（Hu等人，2001）、皮肤镜检查图像中的皮肤病变分割（Esteva等人，2017）、内窥镜图像中的结肠直肠癌分割（SanchezGonzalez等人，2018）和显微镜图像中的细胞分割（Drozdzal等人，2018年）已被报道。因此，准确的病变检测对于建立用于进一步临床分析的可靠基础至关重要（Jiang等人，2010）、疾病诊断（Silveira等人，2009）、治疗计划（Acosta等人，2011）和预后评估（Chen等人，2011年）
随着医学图像数量的不断增加和人工智能的发展，计算机辅助诊断技术可以有效地辅助专业临床医生提高其图像分析的准确性和效率。然而，医学图像中的自动病变（器官或组织）识别仍然既复杂又具有挑战性（Dalca等人，2018年; Yu等人，2016年）。首先，病变区域的大小和形状因个体而异，对于某些疾病，明显的个体差异增加了识别难度。图1示出了两个组示例，即，皮肤病变和大肠息肉。其次，病变与背景之间的低对比度也对高精度分割造成了重大挑战。这样，目标区域通常包含复杂的组织和器官;因此，区分混淆的边界像素是非常困难的。此外，一些伪影和成像噪声也阻碍了分割精度。
近几十年来，已经提出了大量用于医学图像分割的传统自动分析算法（Grau等人，2004; Tsai等人，2004; Chen等人，2012; Ashour等人，2018），其可以大致分为三类：灰度-（Ganster et al.，2001），纹理（He和Xie，2012），以及基于地图集的方法（Bazin和Pham，2007）。虽然这些方法通过提取不同类型的像素和区域特征来提高自动分割的性能，但仍然存在以下共同的缺陷：（1）传统方法通常设计低级手工特征并形成启发式假设，这通常限制了复杂场景下的预测性能，并且忽略了原始图像中丰富的可用信息。(2)对伪影、图像质量和强度不均匀性的鲁棒性较低，这导致性能严重依赖于有效的预处理。
由于与计算机视觉中的深度学习相关的显著成功，深度卷积神经网络（CNN）最近已经成为医学图像分割的有前途的替代方案（Cherukuri等人，2019; Gu等人，2019年; Wang等人，2021; Zhao等人，2019年）。这项技术成功地克服了传统手工制作功能的许多限制。大多数最先进的医学图像分割方法是基于编码器解码器网络架构的，其中最具代表性的方法是U-Net（Ronneberger等人，2015）和全卷积网络（FCN）（Long等人，2015年）。在这种架构中，网络框架以端到端的方式设计，具有逐像素的监督。在编码器阶段，输入图像通过连续的卷积运算获得高级语义特征表示。然后，采用编码器子网络的顶部特征，通过解码器子网络中的渐进上采样（上池化或去卷积）操作来生成预测的分割掩码。虽然CNN在医学图像分割中的优势已经得到了证实，但大多数现有的基于CNN的方法仍然存在对象边界不准确和分割结果不理想的问题。这个问题是由有限的上下文信息和连续的池化和卷积操作后获得的不充分的判别特征映射引起的。为了准确地识别对象，需要同时提取和聚合具有低级别精细细节的高级语义特征。同时，不同层次的特征应该被集成，以更好地捕获长期依赖上下文。
受上述分析的启发，我们提出了一种新的基于边界感知方法（BA-Net）的卷积网络框架用于医学图像分割，该框架遵循经典的编码器-解码器结构。具体地，在编码器子网络的每一级中，首先嵌入金字塔边缘特征提取模块（PEE），以在具有多个粒度的特征级别上关注边界周围的信息。之后，我们将这些提取的特征传递到一个新设计的迷你多任务学习模块（mini-MTL）中，该模块联合监督分割和边界图预测，考虑到对象边界定义了对象形状，因此为目标对象的分割提供了补充线索。在该模块中，为了充分利用从这些不同任务中获得的功能，引入了交互式注意力（IA）层。IA利用来自不同任务的交互信息来监督所识别的目标区域的建模。这些与相关任务有关的交互式消息有助于改进分割性能。最后，提出了一种交叉特征融合模块（CFF），通过选择性地聚合来自整个编码器子网络的多层次特征，进一步捕获有价值的上下文并保留精细的空间信息。通过级联这三个模块，编码了每个阶段的更丰富的上下文和细粒度特征。在解码器子网络中，特征图被顺序地整合以获得最终的分割预测。最后，我们在多个公共医学图像数据集上评估了我们的BA-Net，并在这些数据集上实现了一致的性能改进。
总之，这项工作的贡献是四方面的：
1·我们提出了一种新的边界感知上下文神经网络用于2D医学图像分割，其中编码器采用PEE，mini-MTL和CFF模块来产生更丰富的上下文信息来指导解码过程。
2·设计了嵌入IA层的PEE模块和mini-MTL模块，在同一层次上充分挖掘上下文特征，有效利用边界信息为更好的分割预测提供补充信息。
3·我们构造了一个CFF模块，以选择性地将来自编码器子网络的各个阶段的跨级别特征合并到当前阶段。以这种方式，实现了不同特征级别之间的信息互补。
4·我们进行了全面的实验，并针对不同的任务实现了出色的最先进的分割性能，包括皮肤病变、结直肠息肉、肺部和视盘分割。实验结果证实了该方法的有效性。
本文的其余部分组织如下：在第2节中，我们回顾了医学图像分割的最新进展，在第3节中，我们详细介绍了我们提出的分割神经网络。在第4节中，我们评估了所提出的模型，并将其与五个公共数据集上的最新方法进行了比较。并对该方法进行了相关分析。最后，第五部分对本文进行了总结，并对未来的工作进行了展望.

方法

在本节中，我们描述了我们提出的边界感知上下文神经网络的构造以及为三个核心模块（即，PEE、mini-MTL和CFF）。
3.1. Overview— 3.1.概述
如图2所示，所提出的BA-Net具有编码器解码器架构，并且从ResNet开始（He等人，2016）作为骨干（在ImageNet上预先训练（Russakovsky等人，2016））。在编码器子网络中，首先删除ResNet的最后一个全局池和全连接层。仅保留用于主要特征提取的一个卷积和四个残余卷积块。不失一般性，对于输入图像，我们将四个残差块的输出特征表示为Fi，i ∈ { 1，2，3，4 }。为了进一步扩大感受野，ResNet中的最后两个块使用atrous卷积（atrous率= 2）进行修改。通过移除池化操作来维持与先前块相同的空间分辨率。因此，每个块的输出尺寸是输入图像的1 / 4、1 / 8、1 / 8和1 / 8。此外，还可以使用一种无网格空间金字塔池化模块（ASPP）（Chen等人，2017）被用于最后一个残差块的顶部特征图，以捕获和编码多尺度特征。ASPP模块包括四个具有不同atrous速率的并行atrous卷积和一个全局平均池化。ASPP的输出特征通过上采样和一个1 × 1卷积（具有256个通道）连接，进一步整合和压缩特征图。为了产生更丰富的上下文信息来指导解码器处理，我们定制了三个模块，以充分挖掘编码器子网络的每个阶段中的相同级别的特征并聚合来自不同级别的其他特征。为了探测和聚合当前级别边界周围的多粒度信息，建议PEE首先采用。然后，通过利用相关边界检测和分割任务之间的潜在相关性和互补特征，采用mini-MTL来捕获更丰富的知识。其次，mini-MTL模块的特征映射进一步实现了不同层次之间的互补，并通过所提出的CFF细化了高、低层次的编码特征。一旦该编码过程完成，在解码器阶段，通过聚合来自ASPP模块的输出特征图并依次对每个阶段的特征进行编码来获得解码特征Di，i ∈ { 1，2，3，4 }，以用于最终的分割预测。
图注：拟议的BA-Net的工作流程。在编码器子网络的每一级中，我们首先通过金字塔边缘提取模块（PEE）获得边缘附近的多粒度响应。然后，迷你多任务学习模块（mini-MTL）共同学习分割对象掩模和检测病变边界。最后，交叉特征融合模块（CFF）选择性地聚合来自整个编码器子网络的多级特征，从而进一步捕获有价值的上下文并保留精细的空间信息。这里，H和W分别用于指示输入图像的高度和宽度。

// 图注：
拟议的BA-Net的工作流程。在编码器子网络的每一级中，我们首先通过金字塔边缘提取模块（PEE）获得边缘附近
的多粒度响应。然后，迷你多任务学习模块（mini-MTL）共同学习分割对象掩模和检测病变边界。最后，交叉特
征融合模块（CFF）选择性地聚合来自整个编码器子网络的多级特征，从而进一步捕获有价值的上下文并保留精细
的空间信息。这里，H和W分别用于指示输入图像的高度和宽度。

在这里插入图片描述
3.2. Pyramid edge extraction module—3.2.金字塔边缘提取模块
尽管病变区域的边缘提供了关于目标对象位置的重要线索，但是病变区域的边界通常是复杂和多样的。位于边界附近的像素是不可区分的（见图1）。因此，一个自然的想法是根据这些像素的周围环境来获得病变区域周围的像素的不同表示。通过这种方式，网络可以收集更丰富的信息。为了获得鲁棒的补充边界信息，我们设计了一个简单有效的金字塔特征提取方案，用于挖掘编码器子网络中每个阶段边缘周围的多粒度信息。如图3所示，我们首先使用1 × 1卷积从骨干的每个阶段中的最后一个残差块中挤压特征图Fi，i ∈ { 1，2，3，4 }。然后，采用简化的特征图作为PEE模块的输入。该过程可定义如下：
在这里插入图片描述
其中，Fi表示每个残差块的缩减特征图，F是1 × 1卷积函数，其中θi表示不同块的相应卷积参数。我们通过从其局部卷积特征图中减去具有不同大小的平均池化的值来获得边缘附近的多个粒度响应。不失一般性，我们定义S池操作：
其中，Fi表示每个残差块的缩减特征图，F是1 × 1卷积函数，其中θi表示不同块的相应卷积参数。我们通过从其局部卷积特征图中减去具有不同大小的平均池化的值来获得边缘附近的多个粒度响应。不失一般性，我们定义S池操作：
在这里插入图片描述
其中F（s）i，P表示具有第s次池化操作的当前第i级的边缘特征，并且a v g _ s是对应的平均池化操作。充分利用这些多粒度特征F（1）i，P，…，F（S）i，P，我们通过连接它们来将它们与当前阶段的原始特征Fi聚合，并使用1 × 1卷积运算将它们合并。
在这里插入图片描述
其中C指的是级联过程。Fi，P是编码器子网络当前阶段PEE模块的输出特征图，θi，P表示卷积F的相应参数。这些多粒度响应有效地增强了表示能力，这引导模块更多地关注边界附近的像素。随后，输出地图被馈送到迷你MTL模块，以促进更精细的特征提取。
在这里插入图片描述

3.3. Mini multi-task learning module—3.3.迷你多任务学习模块
自然地，对象边缘的附加知识可以帮助精确识别目标形状，并且边缘检测为语义分割提供了强有力的补充信息（Wang等人，2019年; Zhang等人，2019年; Zhao等人，2019年b）。通过引入边缘检测任务，引导网络专注于表达边界周围的特征，然后改进边缘的分割精度。基于这种直觉，我们提出了一个微型MTL模块嵌入在每个阶段的联合学习，分割对象掩模和检测病变边界，同时避免引入许多参数。图4显示了我们提出的mini-MTL网络的架构。多任务网络的特征编码部分包含两个部分：任务特定的编码分支和IA层。具体地，每个分支具有两个卷积层，其用于对任务相关特征进行编码。IA层（交互注意力）实现任务交互和信息自适应选择互补。而在特定任务监督组件中，首先，通过卷积层减少特征通道的数量，以匹配像素类别的数量。然后，采用一个上采样层来获得与目标输出大小匹配的对应预测掩码。
具体地，在第i阶段，将PEE模块的特征图Fi、P作为两个分支的输入，用于进一步同时提取任务相关特征。
在这里插入图片描述
其中F（l）i，E和F（l）i，S分别表示从边缘的第l个卷积层和分割子网络提取的特征图，其中l ∈ { 1，2 }。特别地，F（0）i，E和F（0）i，S表示PEE模块的特征Fi，P。F是3 × 3卷积函数，分别具有相应的参数θ（l）i，E和θ（l）i，S。IA位于第一个卷积层，旨在从不同的任务中挖掘交互信息。
在这里插入图片描述
如图5所示，为了整合来自另一个任务的有效信息，我们设计了一个简单而有效的交互式注意力整合方法，该方法自适应地将不同的信息传递给不同的任务。具体来说，核心设计动机是通过引入其他任务的有用信息来补充当前任务中缺失的内容。以边缘特征融合为例，首先使用sigmoid函数生成权值掩码，该权值掩码不仅指示当前具有高响应值的边缘特征图F（1）i，E的位置，还指示它们的显著程度【什么是显著程度？？？】。然后，通过从所有元素为1的映射中减去上述权重掩码来生成反向注意力权重。设计这种反转操作的动机来自于这样的观察，其中在某些情况下，由于前景和背景的复杂混合，实际上属于前景的某些区域不幸地具有相对弱的响应。因此，从另一个角度来看，过滤具有被低估的响应的区域并重新评估这些区域，有利于分割使命的性能;否则，这些区域的错误识别结果是不可避免的。通过这种反向操作，相对于当前任务，具有弱响应的特征分量被给予更高的关注，从而从另一个角度引导网络关注未检测到的区域。预期这些任务将得到其他任务信息的补充。最后，可以使用所生成的反向注意力掩码和逐元素乘积运算将有用信息从分割特征F（1）i，S选择性地传递到当前边缘特征F（1）i，E。分割分支上的特征集成是类似的。因此，整个互动过程可以表述如下：
在这里插入图片描述

其中σ表示生成滤波器掩码的S形激活函数，而1 − σ（·）用于生成反向掩码。表示元素级乘积。建议的IA模块是基于门控机制，没有额外的参数。通过这种方式，IA模块可以有效地传递来自不同任务的信息。此外，有用的信息可以通过注意力被调整到正确的位置，无用的信息可以同时在发送者和接收者双方被抑制。在IA层之后，我们进一步实现了第二个卷积层，以合并每个任务的信息。最后，可以通过聚合来自这两个任务的特征来获得具有更丰富上下文的当前阶段Fi，M的表示：
在这里插入图片描述

where F represents the 1 × 1 convolution with parameters θi, M .And C refers to the concatenation operation.
其中F表示具有参数θi，M的1 × 1卷积。C是指连接操作。
为了有效的多任务学习，两个分支以端到端的方式使用IA模块进行联合监督和学习。因此，在特定于任务的监督组件中，我们采用卷积层和上采样层来生成相应的边缘和分割预测结果，即，P i，E和P i，S，它们与目标尺寸相匹配。
在这里插入图片描述
其中BCE（·，·）是二进制交叉熵损失函数，具有以下公式：
这里，P j和G j分别指示预测边界（分割）图P i、E（P i，S）的第j个像素和对象边界（分割）的真实掩模G E（G S），并且N表示像素数。因此，第i个mini-MTL模块中的总损耗可以表示为：
在这里插入图片描述
这种联合学习有助于保留对象边界附近的细节。有了这个模块，BA-Net可以在当前阶段生成更准确、更符合边界的特征。

图注：.所提出的交叉特征融合（CFF）模块的示意图。当i = 1时，（h，w）=（H/ 4，W/ 4），并且当i = 1时，（h，w）=（H/ 8，W/ 8）。这里，H和W分别表示输入图像的高度和宽度。
3.4. Cross feature fusion module—3.4.交叉特征融合模块
在编码器子网络中，低级特征具有丰富的空间细节，而高级特征具有更丰富的语义信息（Zhang et al.，2018年）。不同层次特征表示的自适应集成不仅实现了多层次特征之间的优势互补，而且有效地提高了网络的远程上下文学习能力。为了利用互补的空间结构细节和语义信息，我们提出了CFF模块，该模块有选择地聚合不同级别的特征，并细化高级别和低级别的特征图。如图6所示，对于第i个特征图Fi，M，所设计的CFF模块使用注意机制从多个输入特征Fi，M，j = i中自适应地选择互补分量。该方案主要是受到IA层通过收集不同任务的互补信息来增强其表示能力的机制的启发。与之类似，CFF模块确保了互补性，收集来自各个阶段的信息。在实践中，为了避免聚合过程中不同阶段的特征冗余，我们首先采用sigmoid函数作为自注意操作，以在乘积操作之前突出F j，M，j = i的显著特征：
通过这三个级联的模块，可以在每个阶段捕获保存丰富细节以及语义信息的更精细的上下文特征图Fi、C，其在解码器过程中被进一步利用
3.5. Decoding and optimization----3.5.解码和优化
在解码器子网络中，我们通过依次聚合来自ASPP模块的输出特征图FA和每个阶段的编码特征来获得解码特征Di，i ∈ { 1，2，3，4 }，用于最终的分割预测：
在这里插入图片描述

这里，L D表示解码器损失，λi表示平衡参数。注意，λi根据经验设置为1.0。边界信息帮助更新并引导通过损失的最终分割预测的生成。因此，整个网络都知道对象边界，并细化结果【为什么？损失是一个数字，为什么能让所有优化体现在图像上？？？】