EANet：用于医学图像分割的迭代边缘注意网络

最新推荐文章于 2024-04-26 09:44:35 发布

明初啥都能学会

最新推荐文章于 2024-04-26 09:44:35 发布

阅读量1.3k

点赞数 11

文章标签：网络

本文链接：https://blog.csdn.net/qq_45880982/article/details/136990499

版权

EANet：用于医学图像分割的迭代边缘注意网络

摘要
引言
相关工作
方法
看一下的论文

EANet: Iterative edge attention network for medical image segmentation–2022

摘要

医学图像的精确自动分割对临床诊断和分析有着重要的帮助。然而，由于（1）医学图像目标的尺度多样性和（2）医学图像的复杂上下文环境，包括结构边界的模糊性，形状的复杂性和纹理的异质性，它仍然是一个具有挑战性的任务。为了全面应对这些挑战，我们提出了一种新颖有效的迭代边缘注意力网络（EANet）用于医学图像分割，步骤如下。首先，我们提出了一个动态尺度感知上下文（DSC）模块，它动态地调整感受野，以有效地提取多尺度上下文信息。其次，边缘注意力保留（EAP）模块，以有效地去除噪声，并帮助边缘流专注于处理边界相关的信息。最后，设计了一个多层次的成对回归（MPR）模块，用于补充边缘和区域信息用于细化模糊结构。这种迭代优化有助于学习更好的表示和更准确的显着图。大量的实验结果表明，所提出的网络实现了上级分割性能的国家的最先进的方法在四个不同的具有挑战性的医疗分割任务，包括肺结节分割，COVID-19感染分割，肺分割，甲状腺结节分割。我们的方法的源代码可以在https://github.com/DLWK/EANet上获得

引言

医学图像分割在病变定量评价和临床诊断分析中起着重要作用。在目前的临床实践中，这种形态学信息通常是通过人工目视检查获得的，这是耗时的和主观的。即使是专家，他们的描述也会根据他们的经验和技能而略有不同[1]。为此，自动和准确的分割方法在医学图像是必要的，在很大的需求。然而，由于以下原因，这仍然是一项具有挑战性的任务。首先，医学图像对象中的尺度变化很大（参见图1（a）（P 1和P 2））。二是部分分割对象结构边界模糊，形状复杂，纹理不均匀，容易产生错误的分割结果（见图1（a）（P 3、P 4、P 5））。第三，低强度对比度使得难以从背景中分离目标（见图1（a）（P6））。随着深度学习的快速发展，已经提出了许多基于卷积神经网络（CNN）的分割方法，以准确地分割自然图像和医学图像中的对象[2-4]。近年来，具有编码器-解码器结构的全卷积网络（FCN）由于其使用多级信息重建高分辨率特征图的能力而受到最多的关注。最著名的生物医学分割网络之一是U-Net [2]，它也是基于encoderdecoder，并应用skip连接，直接融合采样结构中的低级和高级信息，以提高分割结果的准确性。此外，已经提出了许多变体，通过引入各种深度监督和注意力机制来改进基本FCN，以进一步提高分割性能[3，5，6]。
然而，大多数现有的CNN都面临着以下局限性：首先，由于CNN架构中重复的跨步和池化操作，不可避免地会损失分辨率并且难以细化，这使得准确定位重要对象，特别是对象边界和小目标具有挑战性。其次，这些基于深度学习的医学图像分割方法没有明确考虑医学图像中存在的模糊结构边界和纹理异质性的困难。第三，以往的研究大多侧重于区域精度，而忽略了边界质量。为了处理模糊结构边界问题，一些提出的分割方法[7，8]需要额外的后处理技术（例如，条件随机场和形状拟合）来重新处理初始粗分割结果。不幸的是，由于后处理需要手动参数调整，这是一项劳动密集型任务，并且与先前的分割表示相关性很差。此外，由于目标的尺度是多样的，有效利用多尺度上下文信息是实现精确目标定位的关键。在某种程度上，以前的一些方法[7，9，10]忽略了在多尺度特征提取模块中探索不同感受野的并行特征之间的内在关系（例如，PSP [9]、ASPP [7]）。受这些工作的启发，我们认为物体应该在不同的尺度上被统一表征，最佳的感受野能够更好地感知物体的语义线索。
为了解决上述挑战，我们提出了一种新的和有效的自动MIS框架，命名为EANet，它实现了显着的性能，在生产高质量的分割图。这项工作的动机是应用边缘检测和对象分割之间的互补性作为切入点（见图1（b））。具体来说，我们首先构建一个动态scaleaware上下文模块（DSC），可以捕获上下文信息，根据目标的规模动态自适应学习适当的感受野。其次，为了有效地捕获边缘信息，我们进一步引入了一个边缘注意力保存模块（EAP），学习相关的边缘注意力信息，并保留在早期编码层的局部边缘特征，这不需要任何昂贵的后处理。第三，由于网络的较深层捕获高级语义信息，但具有更多杂乱的细节，而浅层则相反。因此，我们开发了多级成对回归模块（MPR），通过对边缘和区域信息进行建模来迭代地细化这些特征。此外，不同于简单的添加和串联的功能，我们采用了选择性的混合融合策略，以抑制冗余信息，避免特征之间的污染，从而使重要的功能，以互补。接下来，在解码层，我们进一步使用自上而下和自下而上的迭代细化过程，这有助于获得越来越准确的分割预测并增强边界识别。为了实现边界信息指向所需的分支，我们监督它与语义边界损失函数。我们还开发了一个新的混合损失函数，鼓励预测的语义分割正确地与地面实况语义边界对齐，这进一步鼓励分割边界模糊的解决方案。

以往的研究大多侧重于区域精度，而忽略了边界质量。为了处理模糊结构边界问题，一些提出的分割方法
需要额外的后处理技术（例如，条件随机场和形状拟合）来重新处理初始粗分割结果。不幸的是，由于后
处理需要手动参数调整，这是一项劳动密集型任务，并且与先前的分割表示相关性很差。

在这里插入图片描述

图注：为了方便起见，我们应用肺结节分割作为示例。(a)CT图像中肺结节分割的难点：P1结节相对较大，P2结节
相对较小，P3空洞，P4胸膜旁，P5血管旁，P6磨玻璃样阴影。(b)我们的工作动机：显著边缘检测和目标分割之
间的信息是互补的。边缘（R1）可以提供边界和形状信息，而掩模（R2）可以提供纹理信息。良好的显著性边
缘检测结果有助于对象分割和定位，反之亦然。边缘信息可以提供有用的细粒度约束以在分割迭代期间指导目标
特征提取。

为了证明EANet的性能，我们报告了五个流行的MIS数据集的实验结果，并可视化一些分割图。我们进行了一系列的消融研究，以评估每个模块的有效性。定量指标和可视化结果表明，EANet产生显着更好的局部细节和改进的分割图。该方法可以推广到不同的分割任务。我们在四个分割任务上评估了所提出的方法，包括肺结节分割、COVID-19感染分割、肺分割和甲状腺结节分割。大量的实验结果表明，所提出的EANet优于国家的最先进的方法在所有的任务。总之，我们工作的主要贡献可归纳为以下三个方面：
·我们提出了一种新颖有效的迭代边缘注意力网络（EANet），以全面应对医学图像分割的挑战。该算法能够有效地处理医学图像域中目标的大范围变化和结构边界的模糊性。
·我们设计了一个DSC模块来有效地自学习对象的最佳感受野以捕获多尺度上下文信息，这可以提高所提出的EANet在处理对象大小和形状变化很大的复杂情况下的能力。
·提出了一种有效提取目标边缘信息的EAP模块，该模块能够抑制低水平背景噪声，保留边缘相关信息。我们进一步构建了一个MPR模块，有效地利用边缘和区域信息之间的互补性。这种多级特征之间的迭代优化有助于学习更好的表示和更准确的显着图，特别是它们的边界变得更加细粒度

方法

在本节中，我们首先介绍了拟议的EANet的整体架构。然后，对主要的网络组件进行了详细的描述。最后，给出了训练和推理的细节。
3.1. Network overview----3.1.网络概述
所提出的EANet的整体架构如图2所示。可以看出，该框架是基于编码器解码器架构的FCN，并且由五个主要部分组成：特征编码器、DSC模块、EAP模块、特征解码器和MPR。DSC模块被提出来动态地调整感受野以捕获最佳尺度上下文信息。EAP模块被开发用于以语义边界的形式处理形状信息。最后，MPR的目的是逐步引导融合相邻层次的特征图，以捕捉更多的语义信息在侧输出层。它可以进一步学习更多的语义和边界细节，并细化显着地图，以产生更准确的分割结果。每个组件的详细信息如下。
在这里插入图片描述

图注：概述了拟议的EANet。我们的网络是在一个编码器-解码器风格，它包括VGG-19特征编码器的1 - 1-E-5-B，
动态规模感知上下文（DSC）模块，边缘注意力保护（EAP）模块，特征解码器的1 - 1-D-5-B和多级成对回归
（MPR）模块。HFF表示混合特征融合块，其是MPR的组成部分。最后的预测是通过结合边缘信息和区域信息
迭代优化后生成的全局地图（Sg）。Si，{ i = 2，3，4，5 }指示侧输出层的特征图。

3.2. Feature encoder–=-3.2.特征编码器
在所提出的方法中，特征编码器基于常见的预训练骨干网络，例如VGG [32]，ResNet [33]，DenseNet [34]。与大多数先前的医学图像分割方法类似，我们采用预训练的VGG-19网络作为示例，该网络丢弃了网络中的所有全连接层，并删除了最终池化层以保留顶层的特征细节。使用VGG-19作为编码器的优点如下：（1）与其他预训练模型相比，它是一个轻量级模型。(2)可以获得更具代表性的特征图，并允许更深的网络产生更好的分割结果。为了方便起见，我们使用带有预训练VGG-19的修改的U形结构网络作为我们的骨干方法。
3.3. Dynamic scale-aware context module—3.3.动态尺度感知上下文模块
考虑医学图像目标中的大尺度变化。如第1节所述，多尺度上下文信息可以提高语义分割任务的性能。然而，如何有效地融合目标不同尺度的特征信息是一个值得探索的问题。受此问题的启发，我们提出了一个动态规模感知上下文（DSC）模块，如图3所示。DSC模块包含两个组件，详细描述如下。
多尺度特征提取。给定从编码器的最后一层提取的输入特征图F，其中H，W和C分别是特征图的高度，宽度和通道的数量。在DSC模块中，我们使用三个具有不同膨胀卷积的并行分支，膨胀率分别为1，2和4，以捕获不同尺度的特征信息。为此，我们得到了三个特征图（F1，F2，F3）。然后，我们将两个相邻尺度的特征图分别连接起来，以保留更多的尺度信息F ij = F i <$F j，其中i，j表示相邻尺度的特征图，并且表示连接操作。注意，这些不同的扩张卷积是共享的权重，不会增加任何额外的参数。这种方法也响应了我们的动机，即不同尺度的对象应该被统一表征。最后一点是，相同的参数可以在不同尺度范围的对象上完全训练。【这是咋做到的？？？！！！】
在这里插入图片描述

动态尺度感知上下文（DSC）模块的流程图。DSC模块包括两个部分：多尺度特征提取（MFE）和动态特征选择（DFS）。其中σ（·）表示sigmoid函数，r表示膨胀率，× 2表示两倍。

动态特征选择。考虑相邻尺度之间的特征相关性。在此之后，我们设计了一个动态特征选择组件，如图3所示，它可以动态调整特征图的感受野。具体地，我们首先将相邻尺度特征图连接在一起，假设上述分支F12为例。然后，连接的特征分别通过两个分支之一。一个分支由一个1 × 1卷积层和一个sigmoid激活函数组成。我们考虑输入张量F12的另一种切片表示，其中fi，j ∈ R 1 ×1 ×C，对应于局部空间位置（i，j），i ∈ { 1，2，···，H}，j ∈ {1，2，···，H}，W }。我们通过卷积运算执行空间压缩以生成投影张量q ∈ RH ×W。投影通过S形层σ（·）以将激活重新缩放到[0，1]，其用于在空间上重新校准或激发U = { σ（q）< $KaTeX parse error: Expected 'EOF', got '}' at position 6: F 12 }̲。另一个分支由一个1 \times 1和\dots$ F 1 + W a 2 <$F 2。因此，最终输出F12 ∈ R H×W ×C in表示为：
在这里插入图片描述
3.4. Edge attention preservation module—3.4.边缘注意力保持模块
最近的研究表明，边缘信息可以提供有效的约束，以指导分割特征的提取[22，23]。受上述研究的启发，我们提出了一个边缘注意力保护（EAP）模块，以有效地提取边缘信息。该模块结构包括与门控卷积块（GCB）交织的多个残差块。边缘注意流使用由编码器从常规（纹理）流处理的特征来处理和细化相关联的边界和形状信息。
门控卷积块。GCB是我们EAP模块的一个关键组件，它使边缘流只处理与边界相关的信息。设N表示位置的数目，并且设t ∈ 0，1，2，…，N是运行索引，其中rt和et表示我们使用GCB处理的对应的常规和边缘流的中间表示。为了应用GCB，我们首先通过连接e t和r t，然后是具有归一化C（·）的1 × 1卷积层，然后是sigmoid函数σ，来获得注意力映射αt ∈ R H×W：
在这里插入图片描述
然后，将边缘流传递到边缘流的下一层以进行进一步处理。如图4所示，在我们的实验中，我们使用三个GCB并将它们连接到常规流El，l ∈ { 1，2，3，4 }的编码层。另外，从边缘流输出的边缘图是Se。
门控边缘流监控。从门控边缘流预测类边界并进行深度监督以产生L边缘。我们可以测量产生的边缘图和从GT语义分割掩码导出的地面实况（GT）二进制边缘图G e之间的EAP模块的相异性，其由标准二进制交叉熵（BCE）[35]损失函数监督：
在这里插入图片描述
其中（x，y）是边缘地面实况图G e和预测边缘图S e中的每个像素的坐标。G e是使用地面实况映射Gs的梯度获得的。此外，w和h分别表示相应地图的宽度和高度。

成对回归训练方案。主回归和辅助深度回归形成闭环式。通过自上而下和自下而上的工作流程多次迭代来推断显著对象区域。详细过程如图2所示。LP和LD分别表示原始回归和辅助深度回归的损失。
3.5. Feature decoder—3.5.特征解码器
采用特征解码器模块来恢复从特征编码器模块、动态尺度感知上下文模块和边缘注意力保持模块提取的高级语义特征。跳过连接获得从编码器到解码器的详细信息，以弥补由于连续池化和跨越卷积操作而导致的信息损失。我们使用双线性插值对融合的特征图进行上采样，从而减少模型参数和镶嵌伪影。然后，执行两个3 × 3卷积，每个卷积之后是BN层和ReLU激活层。我们还应用残差连接机制[33]来缓解深度网络中的梯度消失问题，并加快网络收敛。解码器块的输出在1 × 1卷积层之后获得。
Multi-level Pairwise Regression.多水平配对回归。多水平成对回归（MPR）训练方案如图5所示。原始和辅助深度监督学习任务可以形成闭环风格，并提供信息监督来训练模型P和D。如果P（Hy）是正确的高分辨率（HR）特征图y，则下采样图像Hx = D（P（Hy））应该非常接近输入低分辨率（LR）特征图x。有了这个约束，我们可以减少可能映射的函数空间，并更容易学习更好的映射来生成HR映射。而且，通过多个特征交叉融合，LR和HR的特征会逐渐从彼此中吸收有用的信息，实现互补，即，HR图的噪声将被抑制，LR图的边界将被锐化。基于来自高级层的预测图相对完整且接近地面真实的事实，我们建议将最后一个卷积层的特征传递回前一层的特征以对其进行校正和细化，从而形成闭环风格以提供额外的监督。这种设计的目的是这种自上而下和自下而上的工作流程通过多次迭代来推断显著对象区域。网络被有效地引导去探索对象的缺失部分和细节，从而实现更完整、更高分辨率的预测。
[思想明白了，没看懂具体是怎么去实现的？？？]
Hybird Feature Fusion Block.混合特征融合块。为了以更细粒度的方式挖掘有区别的区域特征，我们提出了一种混合特征融合（HFF）块来自适应地学习四个不同级别特征中的特征注意力。我们通过将边缘注意力eatt、不同级别的侧输出特征{fi，i = 2，3，4，5 }和前一相邻级别层的预测图Si-1的融合相乘来获得输出HFF特征Fi。
在这里插入图片描述
其中，f表示级联操作，D（·）是下采样操作。在计算机视觉领域，反向注意力权重A i实际上用于显著对象检测[36]，并且可以公式化为：

其中，σ（·）是S形激活函数，而σ（·）是反向运算。符号E（·）表示用于将单个通道扩展到对应的解码器特征图中的通道大小。该过程的细节如图2所示。值得注意的是，HFF块驱动策略最终可以将不精确和粗略的估计细化为准确和完整的预测图。在测试阶段，我们不使用其他侧输出层，只选择全局输出作为sigmoid层之后的最终预测映射。

看一下的论文

反向注意力权重A i实际上用于显著对象检测[36]
S. Chen , X. Tan , B. Wang , H. Lu , X. Hu , Y. Fu , Reverse attention-based resid-
ual network for salient object detection, IEEE Trans. Image Process. 29 (2020)
3763–3776 .

明初啥都能学会

关注

11
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
EANet：用于医学图像分割的迭代边缘注意网络

医学图像的精确自动分割对临床诊断和分析有着重要的帮助。然而，由于（1）医学图像目标的尺度多样性和（2）医学图像的复杂上下文环境，包括结构边界的模糊性，形状的复杂性和纹理的异质性，它仍然是一个具有挑战性的任务。为了全面应对这些挑战，我们提出了一种新颖有效的迭代边缘注意力网络（EANet）用于医学图像分割，步骤如下。首先，我们提出了一个动态尺度感知上下文（DSC）模块，它动态地调整感受野，以有效地提取多尺度上下文信息。其次，边缘注意力保留（EAP）模块，以有效地去除噪声，并帮助边缘流专注于处理边界相关的信息。
复制链接

扫一扫