RRCNet：用于乳腺超声图像分割的细化残差卷积网络

RRCNet: Refinement residual convolutional network for breast ultrasound images segmentation

摘要

乳腺超声图像分割是临床辅助诊断乳腺癌的关键步骤之一，严重威胁着女性的健康。目前，深度学习方法已成功应用于乳腺肿瘤分割。然而，模糊的边界，异质结构和其他因素会导致严重的漏检和误检测的分割结果。本文提出了一种新的细化残差卷积网络，用于从超声图像中准确分割乳腺肿瘤，该网络主要由带深度监督模块的SegNet、漏检残差网络和误检残差网络组成。在SegNet中，我们添加了六个侧出深度监督模块，以指导网络学习逐尺度预测精确的分割掩码。在漏检残差网络中，不同膨胀率提供的感受野可以提供更多的全局信息，这些信息在深层卷积层中容易丢失。通过引入误检和漏检残差网络，可以促使网络对那些难以预测的像素进行更多的努力，从而获得更准确的乳腺肿瘤分割结果。为了评估网络的分割性能，我们在两个公共乳腺数据集上使用五个定量指标与几种最先进的分割方法进行了比较。实验结果表明，该方法取得了较好的分割效果，表明该方法对乳腺肿瘤的分割具有较好的适应性。

引言

乳腺癌是女性最常见的癌症，严重危害女性健康。在乳腺癌的临床筛查和诊断过程中，乳腺超声（BUS）成像以其实时、无辐射、低成本等优点被广泛应用。更多癌症传感器描述和评估可参考Kaur等人（2022 a，B，2021）、Singh等人（2022，2020）、Singh和Kumar（2022）。目前，从超声图像中分割出乳腺肿瘤是乳腺癌计算机辅助诊断和定量分析的关键步骤之一。然而，由于斑点噪声、超声伪影等因素的干扰，肿瘤形态的多样性，以及良恶性肿瘤的差异等，增加了乳腺肿瘤分割的难度，详见图1。
为了从超声图像分割乳腺肿瘤，已经开发了许多方法，包括基于图形的方法和可变形模型（Xian等人，2018年）。虽然这些方法在不同程度上提高了乳腺肿瘤的分割准确性，但大多数方法需要手动初始化操作，并且耗时（Abdelrahman et al.，2021年）。因此，从超声图像中自动、准确地分割乳腺肿瘤是非常必要和迫切的。最近，卷积神经网络（CNN）已经广泛用于医学图像分割，并且与传统分割方法相比已经显示出显著的优点。受此启发，CNN在BUS图像分割中受到了广泛关注（Almajalid et al.，2018年; Huang等人，2019;雅普等人，2018年）。其中，基于U-net核心架构的CNN模型[8]是最典型的乳腺肿瘤分割网络之一（Amiri et al.2020; Houssein等人，2021; Punn和Agarwal，2022）。然而，具有与肿瘤相似的强度分布的周围组织（背景）影响网络的分割性能（转折）（Huang等人，2017年a）。如图1所示，U-net的分割结果存在严重的漏检和误检。为了进一步降低网络的漏检和误检率，提出了两种优化策略：捕获上下文信息（Hu et al.，2019年; Lee等人，2020; Zhuang等人，2019）和学习之间的依赖关系遥远的功能（窦等，2018年; Huang等人，2017 b; Xue等人，2021年）。然而，现有方法倾向于在具有更多局部特征的深度卷积层上捕获全局信息，这势必会影响全局特征的表示（Xue et al.，2021年）。学习远距离特征之间的依赖关系可以降低网络对不同尺度对象的敏感性。然而，这种策略对模糊或级联边界敏感，过度学习会降低网络的分割性能。尽管现有的BUS分割方法在不同程度上提高了乳腺肿瘤的分割精度，但由于周围组织的灰度分布、级联和阴影相似，仍会造成严重的漏检和误检。
为了减少BUS图像的漏检和误检，提出了一种融合SegNet和深度监督模块、漏检残差网络和误检残差网络的改进残差卷积网络，用于乳腺肿瘤的分割。在这个网络中，我们通过从BUS图像中捕获遗漏检测和错误检测的残差来细化乳腺肿瘤的分割结果，如图2所示。据我们所知，该网络是第一个学习遗漏检测和错误检测区域的残差来细化BUS图像分割的网络。概括而言，我们的主要贡献如下：
首先，我们开发了一种新的细化残差卷积网络（RRCNet），它由一个具有深度监督模块的SegNet、一个漏检残差网络和一个误检残差网络组成。通过对漏检和误检残差的学习，可以有效地提高乳腺肿瘤的分割精度。
其次，我们设计了一个侧出式深度监督模块来引导网络学习逐尺度预测准确的分割掩码。此外，使用不同的膨胀率可以提供更多的全局信息，这些信息在深度卷积层中很容易丢失。
此外，分割网络使用五个评估指标在两个公共BUS数据集上进行评估。实验结果表明，该方法在公交车图像分割上优于现有的分割方法，具有较好的泛化能力。

相关工作

传统方法。先前的方法通过纹理分布和位置信息分割乳腺肿瘤（Xian等人，2018年）。用于BUS图像分割的这些方法主要包括基于图的方法和可变形模型（Huang等人，2017年a）。Boukerroui等人（1998）使用多分辨率和强加的空间平滑来实现乳腺肿瘤的分割。Gao等人（2012）提出了一种基于同质块的归一化切割算法变体，用于从超声图像中分割乳腺肿瘤。虽然基于图的分割方法直观且易于理解，但这些方法通常存在两个缺点：局部最优解和收缩问题（锡诺普and Grady，2007）。与基于图的分割方法相比，可变形模型广泛用于BUS图像分割（Xian等人，2018年）。Liu等人（2010）提出了一种基于水平集主动轮廓的BUS图像分割模型。Shan等人（2012）提出了一种表征乳腺肿瘤边界的方法。Kuo等人（2014）通过将局部能量项添加到水平集方程中来进一步发展和细化乳腺肿瘤轮廓。然而，Yin等人（2020）指出，这些可变形模型非常耗时，并且依赖于手工制作的功能。
深度学习方法深度学习方法在BUS图像分割中显示出上级准确性（Houssein et al.，2021年）。雅普等人（2018）评估了三种不同深度学习方法在BUS图像上的分割性能：基于补丁的LeNet，U-Net和使用预训练AlexNet的迁移学习。然而，从级联或模糊的BUS图像获得准确的病变边界仍然是一个挑战。Abraham和Khan（2019）设计了一种具有多尺度输入、注意力U网和深度监督策略的CNN，用于从BUS图像中分割肿瘤。虽然多尺度输入可以降低网络对输入图像的敏感度，但引入过多的低级特征会降低网络的准确性。Zhuang等人（2019）通过在注意力U-net上引入扩张卷积和残差学习策略，开发了一种残差扩张注意力门U-net（RDAU-Net）来分割乳腺病变。在编码器和解码器之间使用扩张卷积难以获得全局信息。Shareef等人（2020）设计了一种小型肿瘤感知网络，用于从BUS图像中分割小肿瘤。但该方法忽略了其他因素对分割结果的干扰。Chen等人（2022 c）构建了一个双向注意力引导网络，通过对全局特征和局部特征的双向约束来分割乳腺病变。该方法通过提取病灶的上下文信息，提高了网络的分割精度。Xue等人（2021）引入了一种配备通道注意力模块、空间注意力模块和边界检测模块的CNN，用于分割乳腺肿瘤。边界约束可以优化分割结果，但不能克服周围组织相似强度分布和级联边界对分割结果的干扰。Yan等人（2022）提出了一种具有混合扩张卷积的注意力增强U网（AE U网），用于从超声图像中分割乳腺肿瘤。网络的性能可以通过增强注意力机制来优化，但仍有进一步改进的空间。SegNet及其变体网络也广泛用于医学图像分割任务。Vianna等人系统地评估了SegNet架构对乳腺病变的分割性能（Vianna等人，2021年）。然而，它在BUS肿瘤分割中没有达到最高分数。为了进一步提高SegNet的分割性能，已经提出了许多基于SegNet的变体网络，例如U-segnet（Kumar等人，2018）、ResU-segNet（Shen et al.，2020），M-SegNet（Yamanakkanavar和Lee，2021）。Kumar等人通过整合U-net和SegNet提出了USegNet（Kumar等人，2018年）。然而，通过引入跳过连接操作来提高SegNet分割性能非常有限。随后，Shen等人通过用残差学习块替换U-SegNet中的卷积块来构建新的ResU-segNet架构（Shen等人，2020年）。残差学习块的引入虽然提高了特征间的相关性，但仍然无法缓解各种因素对分割结果的干扰。为了使网络能够处理不同尺度的输入，多尺度图像输入模块被引入到SegNet中（Yamanakkanavar和Lee，2021）。然而，过度引入低级特征将降低分割性能（Chen等人，2022年a）。

方法

在本节中，我们首先描述乳腺肿瘤分割网络。然后，介绍了该网络的关键部件的设计细节。最后给出了网络训练的损失函数。
概述图3示出了细化残差卷积网络（表示为RRCNet）的整体架构。具体来说，我们的分割网络主要包括三个阶段：（1）第一阶段是使用带有深度监督模块的SegNet生成乳腺肿瘤的粗略显著图;（2）第二阶段是通过漏检残差网络学习的误检残差图对分割结果进行细化。(3)最后一个阶段是使用误检残差网络学习的误检残差图来进一步细化分割结果。我们的最终目的是使用具有深度监督模块的SegNet，漏检残差网络和误检残差网络，从BUS图像中准确预测乳腺肿瘤的掩模。
BUS图像分割网络的插图。分割网络主要由三部分组成：具有深度监督模块的SegNet、漏检残差网络和误检残差网络。漏检和误检残差网络的主要目的是从BUS图像中学习漏检和误检的残差图。