IEEE JBHI | SGU-Net: Shape-Guided Ultralight Network for Abdominal Image Segmentation

CodeCognizer（代码认知者）

已于 2023-12-04 20:37:23 修改

阅读量1.2k

点赞数 15

分类专栏：医学图像分割文章标签：人工智能图像处理深度学习 pytorch

于 2023-12-04 20:33:23 首次发布

本文链接：https://blog.csdn.net/qq_43660863/article/details/134769531

版权

医学图像分割专栏收录该内容

4 篇文章 0 订阅

订阅专栏

IEEE JBHI|SGU-Net: Shape-Guided Ultralight Network for Abdominal Image Segmentation

论文标题： SGU-Net: Shape-Guided Ultralight Network for Abdominal Image Segmentation
论文发表会议： IEEE Journal of Biomedical and Health Informatics
论文地址： https://ieeexplore.ieee.org/abstract/document/10021579
论文代码： https://github.com/SUST-reynole/SGUNet

一、摘要

卷积神经网络(CNN)在医学图像分割中取得了显著的成功。然而，它们也受到大量参数要求的影响，导致难以将CNN部署到小型硬件资源上，例如嵌入式系统和移动设备。虽然目前已经报道了一些轻量的或占用内存小的模型，但它们中的大多数可能会导致分割精度的降低。为了解决这个问题，我们提出了一种具有极低计算成本的形状引导超轻网络(SGU-Net)。提出的SGU-Net包括两个主要贡献：它首先提出了一种能够同时实现双可分卷积的超轻卷积，即非对称卷积和深度可分卷积。所提出的超轻卷积不仅有效地减少了模型整体参数量，而且增强了SGU-Net的鲁棒性。其次，我们的SGU-Net使用了一个额外的对抗性形状约束，让分割网络探索医学图像在低维流形空间中的特征表示，这可以显著提高腹部医学图像的自监督分割精度。SGU-Net在四个公共基准数据集(LiTS、CHAOS、NIH-TCIA和3Dircbdb)上进行了广泛测试。实验结果表明，SGU-Net以更低的内存成本实现了更高的分割精度，并优于目前最先进的网络。此外，我们将我们的超轻卷积应用于3D分割网络中，该网络在参数和内存使用较少的情况下获得了有竞争性的性能。

二、引言

医学图像分割的目的是使解剖或病理结构的变化在图像中更加清晰，在计算机辅助诊断和智能医疗中往往起到关键作用，因为它大大提高了诊断的效率和准确性。为了帮助临床医生准确诊断，需要对腹部医学图像中的一些关键器官和靶点进行分割，并从分割后的靶点中提取特征。尤其是医学图像，由于医学图像通常存在模糊、噪声、低对比度等问题，比普通RGB图像更难提取识别特征。近年来，深度学习特别是U型编解码器网络因其优异的性能在医学图像分割中得到了广泛的应用。由于用于特征学习的U型网络编码器对图像噪声、模糊、低对比度等不敏感，许多改进的U型网络，如U-Net++、mU-Net、Attention U-Net、TransUNet、Swin-Unet等，可以为医学图像提供出色的分割效果。这些网络虽然具有较高的分割精度，但由于参数数量多、内存占用大，导致网络结构复杂，难以在移动设备上部署。如何平衡网络的复杂性和分割的准确性是一个挑战。

图1显示了在CHAOS-CT数据集上不同网络的Dice值和参数个数。我们可以看到，一些医学图像分割模型的参数数量非常庞大，如R2U-Net为39.09M，Attention U-Net为34.88M，V-Net为65.17M。显然，这些高精度的网络大多不适合部署在移动设备上。虽然已经报道了一些轻量级网络，但在低计算资源的情况下，它们可能会出现严重的性能下降。为了解决上述问题，我们提出了一种计算成本极低的形状引导超轻网络(SGU-Net)用于医学图像分割。
在这里插入图片描述
为了提高计算效率并减少参数数量，我们提出了一种即插即用操作的超轻型卷积(UC)，可用于任意网络。与流行的非对称卷积和深度可分卷积相比，超轻卷积在减少参数量和提高特征表示能力方面具有明显的优势。具体来说，对于输入特征映射，超轻卷积首先进行深度非对称卷积，由1×K级联和K×1卷积组成。然后，利用点卷积得到输出的特征映射。

为了提高分割精度，我们提出了一种形状对抗自编码器(SAAE)，它是一种额外的自监督策略，通过交替训练SAAE和分割网络来提高分割网络的性能。所提出的SAAE具有与流行的基于自编码器的形状约束方法完全不同的新颖工作模式。具体来说，我们尝试使用自编码器来探索CNN对低维流形中预测目标形状表示的能力。值得一提的是，本文提出的SAAE和分割网络是协同训练的，这不仅使本文提出的分割网络输出具有更真实形状信息的目标，而且对分割网络是一种无成本的监督操作。

实验结果表明，SGU-Net不仅可以获得更高的分割性能，而且可以提供更好的目标形状预测。此外，SGU-Net所需参数更少，计算成本更低，分别为4.99M和4.98GFLOPs。

三、方法

在这里插入图片描述
SGU-Net的总体架构如图2所示，由两部分组成：分割网络和形状对抗自编码器(SAAE)。与U-Net相比，该分割网络一方面在编码阶段使用超轻卷积而不是常规卷积；另一方面，由于反卷积可能导致网格效应，这不利于像素级分割，因此在普通的U-Net中，反卷积被上采样和超轻卷积的组合所取代。形状引导模块为分割网络增加了额外的形状约束，通过将形状信息编码到低维流形中，促使分割网络的预测与器官的形状保持一致。

3.1 超轻卷积

概述：本文提出的超轻卷积综合了非对称卷积和深度可分离卷积的优点。我们将普通卷积分解为深度非对称卷积和点卷积。对于SGU-Net，深度非对称卷积对每个输入通道进行非对称卷积，然后使用点卷积进行通道信息合并。常规卷积同时对通道和空间维度进行滤波，并合并输入形成新的输出，而提出的超轻卷积将自身分为三层，即用于水平和垂直卷积层以及用于合并的单独层。这种分解在减少计算成本和模型大小方面有显著的效果。
在这里插入图片描述
图3给出了超轻卷积与常规卷积、非对称卷积和深度可分离卷积等流行卷积策略的对比。由图3可以看出，非对称卷积和深度可分卷积相比常规卷积都可以减少参数量和计算成本。然而，深度可分离卷积优于非对称卷积，因为它实现了空间卷积和通道卷积之间的解耦运算，从而使网络更轻量化。与非对称卷积和深度可分离卷积相比，我们提出的超轻卷积具有以下优点：

与图3(a)所示的非对称卷积相比，我们的超轻卷积包括深度非对称卷积和点卷积两个阶段，可以有效地解耦卷积操作的空间维度和通道维度，从而实现更高效的模型压缩。
与图3(b)所示的深度可分离卷积相比，我们的超轻卷积实现的是深度非对称卷积，而前者实现的是常规深度卷积，超轻卷积实现了卷积核的空间分解，特别有助于改善腹部图像分割中不规则器官的特征提取。

3.2 形状引导策略

概述：对于医学图像分割，预测的目标轮廓非常重要，因为这些结果经常用于三维器官重建。然而，由于成像质量的限制，难以准确分割目标。因此，在分割网络中加入更高级的形状约束策略是一种能够使预测结果与先验解剖学知识更加一致的解决方案。然而，真值图通常涉及结构和高维信息，在高维空间中测量形状相似性是极其困难的。为了解决上述问题，我们提出了SAAE，帮助分割框架探索形状表示和约束，引导分割网络的预测结果更接近真值图。具体来说，SAAE是一种可训练的神经网络，用于捕获输入形状的显著特征并将其编码为低维流形。如果SAAE能够很好地重构输入形状，则可以很好地将低维流形中的编码近似为形状特征的表示。

训练过程：整个训练阶段如图2所示。SAAE的动机包括两个部分。一是在不增加网络参数的情况下，在分割模型中加入额外的形状引导策略，提高分割精度。二是充分利用腹部图像丰富的先验知识，提高模型学习的可解释性。我们的SAAE以微观的方式探索形状的表示，并通过梯度反向传播算法最小化预测结果与真值图之间的差异。这是因为腹部器官的形状表示是高维信息，很难直接测量预测结果与标签之间的形状差异。为了解决这个问题，我们的SAAE使用一个自编码器来探索腹部器官在低维流形中的形状表示。同时，由于器官标签只包含形状和位置信息，我们的SAAE在对大量的标签和预测结果进行重构后，可以进一步编码器官的形状和位置信息。不断训练的SAAE可以捕捉到分割结果与真实器官形状之间的细微差异，可以用来监督分割网络，输出更好的结果。

四、实验

4.1 数据集和预处理

在我们的实验中，我们将CHAOS和LiTS作为实验数据集。来自CHAOS挑战的CHAOS是由土耳其伊兹密尔Dokuz Eylul大学医院放射科收集的。共有80例，其中40例为腹部CT扫描包含肝分割的标注，另外40例为T1-DUAL期(T1-DUALin)。三名放射科医生(分别有10年、12年和28年的经验)参与了人工分割。最终掩码采用多数投票法获得，保证了标注的准确性。我们将CT和MR图像按6:2:2的比例分别划分为训练集、验证集和测试集。MR图像尺寸为256×256或288×288，轴向切片数为26_{50，层厚4.4}8.0mm；CT图像尺寸为512×512，轴向切片数为78_{294，层厚2.0}3.2mm。训练数据进行随机缩放、旋转、裁剪和移位操作。在我们的实验中，给定的模型专用于单一模式(T2-SPIR, CT)和单一器官(肝脏，右肾，左肾，脾脏)。因此，每个模型执行二值分割，而不是多类分割，以提取稳健的器官特异性特征。

LiTS包括131个标记的3D CT扫描，其中平面内分辨率范围为0.55mm至1.0mm，切片间距范围为0.45mm至6.0mm。我们分别使用90名患者(共43219张图像)和10名患者(共1500张图像)构建了训练集和验证集。然后将其余30例患者(共15419张图像)作为测试集。值得一提的是，LiTS数据集没有使用数据增强技术。

医学CT图像与自然图像不同，前者能获得的-1000—3000的取值范围比后者能获得的0—255的取值范围更宽。为了消除干扰并增强肝脏区域，我们截断了[−200,250]HU所有扫描的图像强度值。

4.2 对比实验

在这里插入图片描述

4.3 消融实验

在这里插入图片描述

五、结论

在本文中，我们提出了一种用于医学图像分割的形状引导超轻网络。首先，结合非对称卷积和深度可分离卷积的优点，提出了一种超轻卷积算法，将常规卷积分解为深度非对称卷积和点卷积。其次，提出形状引导模块，利用器官位置和形状的先验知识对分割网络进行约束，得到更接近真实器官形状的分割结果；在LiTS和CHAOS上的大量实验表明，所提出的SGU-Net在内存和计算资源有限的情况下，为实现高质量的分割结果提供了一种通用而有效的解决方案。