UNet 3+：用于医学图像分割的全尺寸连接 UNet

0319zz

于 2024-08-06 13:11:59 发布

阅读量818

点赞数 24

分类专栏： RNA二级结构预测文章标签：人工智能

本文链接：https://blog.csdn.net/cc0319cc/article/details/140952250

版权

RNA二级结构预测专栏收录该内容

8 篇文章 1 订阅

订阅专栏

摘要

最近，人们对基于深度学习的语义分割越来越感兴趣。 UNet是一种具有编码器-解码器架构的深度学习网络，广泛应用于医学图像分割。结合多尺度特征是准确分割的重要因素之一。 UNet++ 是通过设计具有嵌套和密集跳跃连接的架构而开发为改进的 Unet。然而，它没有从全尺度探索足够的信息，仍然有很大的改进空间。在本文中，我们提出了一种新颖的 UNet 3+，它利用了全面的跳跃连接和深度监督。全尺度跳跃连接将低级细节与来自不同尺度特征图的高级语义结合起来；而深度监督则从全尺寸聚合特征图中学习层次表示。所提出的方法对于以不同尺度出现的器官特别有益。除了精度的提高之外，所提出的 UNet 3+ 还可以减少网络参数以提高计算效率。我们进一步提出了一种混合损失函数，并设计了一个分类引导模块来增强器官边界并减少非器官图像中的过度分割，从而产生更准确的分割结果。该方法的有效性在两个数据集上得到了证明。代码位于：github.com/ZJUGiveLab/UNet-Version。

1.简介

医学图像中的自动器官分割是许多临床应用中的关键步骤。近年来，卷积神经网络（CNN）极大地促进了各种分割模型的发展，例如全卷积神经网络（FCN） [1] , 大学网 [2] , PSP网络 [3] 以及一系列DeepLab版本 [4] – [6] 。特别是，基于编码器-解码器架构的UNet被广泛应用于医学图像分割。它使用跳跃连接来组合来自解码器的高级语义特征图和来自编码器的相应低级详细特征图。为了从 UNet、UNet++ 中的普通跳过连接中消除语义上不同特征的融合 [7] 通过引入嵌套和密集的跳跃连接进一步加强了这些连接，旨在减少编码器和解码器之间的语义差距。尽管取得了良好的性能，但这种方法仍然无法全面探索足够的信息。

正如许多细分研究所证明的那样 [1] – [7] ，不同尺度的特征图探索独特的信息。低级详细特征图捕捉丰富的空间信息，突出器官的边界；而高级语义特征图体现了位置信息，定位器官所在的位置。然而，当逐步下采样和上采样时，这些精致的信号可能会逐渐被稀释。为了充分利用多尺度特征，我们提出了一种新颖的基于U形的架构，称为UNet 3+，其中我们重新设计了编码器和解码器之间的互连以及内部连接解码器之间的交互，以捕获全尺度的细粒度细节和粗粒度语义。为了进一步从全尺寸聚合特征图中学习分层表示，每个侧输出都与混合损失函数连接，这有助于准确分割，特别是对于医学图像体积中以不同比例出现的器官。除了精度的提高之外，我们还表明所提出的 UNet 3+ 可以减少网络参数以提高计算效率。

为了满足医学图像更准确分割的需求，我们进一步研究如何有效减少非器官图像中的误报。现有方法通过引入注意力机制来解决问题 [8] 或进行预定义的细化方法，例如 CRF [4] 于推论。与这些方法不同，我们扩展了一个分类任务来预测输入图像是否有器官，为分割任务提供指导。

总之，我们的主要贡献有四个方面：（i）设计一种新颖的 UNet 3+，通过引入全尺度跳跃连接来充分利用多尺度特征，该连接将低级细节与高级语义相结合全尺寸特征图，但参数较少； (ii) 开发深度监督以从全尺寸聚合特征图中学习分层表示，从而优化混合损失函数以增强器官边界； (iii) 提出一个分类引导模块，通过与图像级分类联合训练来减少非器官图像的过度分割； (iv) 对肝脏和脾脏数据集进行广泛的实验，其中 UNet 3+ 在许多基线上取得了一致的改进。

2.方法

Fig. 1 给出了 UNet、UNet++ 和提议的 UNet 3+ 的简化概述。与 UNet 和 UNet++ 相比，UNet 3+ 通过重新设计跳跃连接以及利用全尺度深度监督来结合多尺度特征，提供更少的参数，但产生更准确的位置感知和边界增强分割图。

2.1全尺寸跳跃连接

所提出的全尺寸跳跃连接转换了编码器和解码器之间的互连以及解码器子网络之间的内部连接。具有简单连接的 UNet 和具有嵌套和密集连接的 UNet++ 都缺乏从全尺度探索足够的信息，无法明确学习器官的位置和边界。为了弥补 UNet 和 UNet++ 的缺陷，UNet 3+ 中的每个解码器层都包含来自编码器的较小和相同尺度的特征图以及来自解码器的较大尺度的特征图，从而完整地捕获细粒度细节和粗粒度语义。秤。

2.2.全方位深度监管

为了从全尺寸聚合特征图中学习层次表示，UNet 3+ 中进一步采用了全尺寸深度监督。与 UNet++ 中生成的全分辨率特征图上执行的深度监督相比，所提出的 UNet 3+ 从每个解码器阶段产生一个侧面输出，该输出由地面事实监督。为了实现深度监督，每个解码器阶段的最后一层被输入到一个普通的 3 × 3 卷积层，然后是双线性上采样和 sigmoid 函数。

2.3.分类引导模块 (CGM)

在大多数医学图像分割中，非器官图像中出现误报是不可避免的情况。这很可能是由背景中残留的噪声信息留在较浅层引起的，导致过度分割的现象。为了实现更准确的分割，我们尝试通过添加额外的分类任务来解决这个问题，该任务旨在预测输入图像是否有器官。

如图所示 Fig. 3 ，经过dropout、卷积、maxpooling、sigmoid等一系列操作后，从最深层次产生一个2维张量 X5En ，每个代表有/没有器官的概率。受益于最丰富的语义信息，分类结果可以进一步分两步指导每个分割侧输出。首先，借助 argmax 函数，二维张量被转换为单个输出 {0,1}，表示有/没有器官。随后，我们将单分类输出与侧面分割输出相乘。由于二元分类任务的简单性，该模块在二元交叉熵损失函数的优化下毫不费力地达到了准确的分类结果 [12] ，实现了纠正非器官图像过度分割缺陷的指导。

3.实验和结果

3.1.数据集和实施

该方法在两个器官上得到了验证：肝脏和脾脏。肝脏分割数据集来自 ISBI LiTS 2017 Challenge。它包含 131 个对比增强 3D 腹部 CT 扫描，其中 103 个卷和 28 个卷分别用于训练和测试。医院的脾脏数据集通过了伦理审查，包含40个和9个CT卷用于训练和测试。为了加快训练速度，输入图像具有三个通道，包括要分割的切片和上下切片，裁剪为320×320。我们利用随机梯度下降来优化我们的网络，其超参数为设置为默认值。使用骰子系数作为每种情况的评估指标。

3.2.与 UNet 和 UNet++ 的比较

在本节中，我们首先将提出的 UNet 3+ 与 UNet 和 UNet++ 进行比较。每种方法中使用的损失函数是焦点损失。

(i)定量对比：基于Vgg-16和ResNet-101的backbone， Table 1 在肝脏和脾脏数据集上的参数数量和分割精度方面比较了 UNet、UNet++ 和提出的 UNet 3+ 架构。如图所示，没有深度监督的 UNet 3+ 实现了超越 UNet 和 UNet++ 的性能，在两个数据集上执行的两个主干网之间获得了 2.7 和 1.6 点的平均改进。考虑到肝脏和脾脏在 CT 切片中以不同尺度出现，UNet 3+ 结合全尺度深度监督进一步提高了 0.4 分

(ii)定性比较： Figure 2 展示了基于 ResNet-101 的 UNet、UNet++ 和 UNet 3+ 对肝脏数据集进行全面深度监督的分割结果。可以看出，我们提出的方法不仅可以准确定位器官，而且即使在小物体情况下也可以产生连贯的边界。

3.3.与现有技术的比较

我们将基于 ResNet-101 的 UNet 3+ 与几种最新的最先进方法进行定量比较：PSPNet [3] , 深实验室V2 [4] , DeepLabV3 [5] , DeepLabV3+ [6] 和关注UNet [8] 。值得一提的是，所有结果均直接来自单模型测试，不依赖任何后处理工具。此外，所有网络都通过他们自己的论文中提出的损失函数进行了优化。

Table 2 总结了定量比较结果。可以看出，所提出的混合损失函数通过考虑像素、补丁、地图级别的优化，极大地提高了性能。特别是，补丁级 MS-SSIM 损失函数有助于为模糊边界分配更高的权重，从而产生更多增强的边界感知分割图。此外，利用分类引导模块的优势，UNet 3+巧妙地避免了复杂背景下的过度分割。可以看出，与之前的所有其他方法相比，该方法非常出色。还值得注意的是，所提出的方法优于肝脏（0.9675 对 0.9341）和脾脏（0.9620 对 0.9324）的第二最佳结果。

4.结论

在本文中，我们提出了一种具有深度监督的全尺寸连接UNet，命名为UNet 3+，以便最大限度地利用全尺寸特征图，以更少的参数实现准确的分割和高效的网络架构。进一步引入分类引导模块和混合损失函数，以产生更准确的位置感知和边界感知分割图。肝脏和脾脏数据集的实验结果表明，UNet 3+ 超越了以前所有最先进的方法，突出了器官并产生了连贯的边界。