ESKNet：一种用于超声乳腺肿瘤分割的增强型自适应选择核卷积

ESKNet_An enhanced adaptive selection kernel convolution for ultrasound breast tumors segmentation

摘要

乳腺癌已成为威胁任何妇女生命的最可怕的疾病之一。准确的靶病变分割对于早期临床干预和术后随访至关重要。最近，已经提出了许多用于从超声图像中分割乳腺肿瘤的卷积神经网络（CNN）。然而，复杂的超声模式和多变的肿瘤形状和大小带来的挑战，准确分割的乳腺病变。受选择性核卷积的启发，我们引入了一种用于乳腺肿瘤分割的增强型选择性核卷积，该卷积集成了多个特征图区域表示，并从通道和空间维度自适应地重新校准这些特征图区域的权重。这种区域重新校准策略使网络能够更多地关注高贡献区域特征，并减轻对不太有用区域的干扰。最后，将增强的选择性核卷积集成到具有深度监督约束的U网中，以自适应地捕获乳腺肿瘤的鲁棒表示。使用三个公共乳腺超声数据集，我们使用许多最先进的深度学习分割方法进行了广泛的实验。在第一个超声数据集（BUSI）的分割中，Jaccard，精度，召回率，特异性和Dice的值分别为70.20%，79.57%，82.41%，97.47%和78.71%。在第二个超声数据集（数据集B）上，我们的方法的Jaccard，精度，召回率，特异性和Dice值分别为71.65%，81.01%，82.66%，99.01%和79.92%。对于外部超声数据集（STU）的分割，Jaccard，精度，召回率，特异性和Dice的平均值分别为75.14%，84.73%，89.25%，97.53%和84.76%。实验结果充分证明了我们的方法分割乳腺超声图像的上级性能。源代码可在以下网站上获得：https://github.com/CGPxy/ESKNet。

引言

乳腺癌作为女性最常见的恶性疾病之一，严重危害着女性的健康甚至生命（Chen et al.，2023 a）。由于乳腺癌的强隐蔽性和许多诱因，定期的早期筛查对于制定医疗计划和降低死亡率至关重要（Xian et al.，2018年）。目前，超声成像由于其无创、廉价和快速的优越性，已成为临床筛查乳腺癌最常用的技术手段之一（Ilesanmi et al.，2021年）。遗憾的是，由于超声图像的复杂性，即使对于有经验的放射科医生来说，准确且快速地注释病变区域也是一个挑战，如图1（a）所示。为了克服这个问题，已经建立了各种计算机辅助诊断系统（CAD）来帮助医生解释乳房超声图像（Huang等人，2023 a; Li等人，2022年; Xu等人，2019年）。众所周知，医学图像分割可以帮助定位和评估病理区域（Chen等人，2021年）。因此，医学图像分割是CAD系统中必不可少的步骤之一（Huang等人，2023 b; Huang等人，第2023条c款）。
在超声图像中实现乳腺肿瘤区域的准确分割一直是广泛研究的主题（Abdel Mamrahman等人，2021年）。以前，手动的先验方法通常用于拟合乳腺肿瘤的轮廓。Xue等人指出，人工先验的有限表示能力容易导致对复杂超声图像中乳腺病变的错误识别（Xue等人，2021年）。另外，基于人工先验的方法需要大量的时间和人力。最近，许多代表性的CNN被成功且广泛地应用于医学图像分割（Fu等人，2022年）。在许多优秀的分割方法中，FCN和Unet（Ronneberger等人，2015）是两个独特的代表性著作，在医学图像分割中得到了广泛的应用。阿尔马贾利德等人第一次使用U网来完成乳房超声图像分割的任务（Almajalid等人，2018年）。随后，雅普等人全面分析了三种基准网络的分割性能：U-net、FCN-AlexNet和基于补丁的LeNet在应对乳腺病变方面的表现（雅普等人，2018年）。类似地，Mishra等人使用FCN来设计用于超声图像分割的深度监督网络（Deepak等人，2018年）。然而，由于复杂的超声模式和相似的强度分布，乳腺病变分割是一项极具挑战性的工作（Ning等人，2021年）。因此，单纯应用现有的框架（如U-net、FCN等）很难获得满意的分割结果。如图1（b）所示。
对于乳腺超声，阻碍乳腺病变准确分割的主要干扰因素有：1）强度分布相似，边界模糊，尤其是恶性病变; 2）乳腺肿块形态和位置变异明显（Chen et al.，2022年a）。要想从超声图像中得到精确的分割结果，分割网络的设计不仅要能够适应不同尺度的乳腺肿瘤，而且还需要提高对病变区域的聚焦度。注意力机制和多尺度卷积的好处已经在许多低级任务中得到证明（Elmoufidi，2022;托马尔等人，2022年）。注意策略可以帮助网络提取更好地表征目标的有用信息，同时减少无用信息的引入。多尺度卷积通过使用不同的卷积核从接收域的不同尺度捕获感兴趣的目标特征来提高对象的表示能力（约书亚等人，2020年）。基于注意力机制和多尺度卷积的CNN架构被广泛用于乳房超声图像分割任务（Abdelrahman等人，2021年）。例如，Yan等人使用基于注意力U-网的混合扩张卷积来提出一种新的注意力增强U-网（AE U-网），以自动分割超声图像中的乳腺肿瘤（Yan等人，2022年）。为了在变化的感受野中捕获客观特征，Zhuang等人在Att U-net中引入了扩张卷积和残留学习（Zhuang等人，2019年）。然而，在更深的卷积层上使用扩张卷积不能捕获足够的上下文信息（Xue等人，2021年）。为了更好地捕获乳腺肿瘤的多尺度信息，Punn等人（Punn和Agarwal，2022）用初始卷积层构建的残差块替换了Att U-net的卷积块。Abraham等人（Abraham和Khan，2019）构建了一种新的U形网络（MADU-net），通过将多尺度图像输入金字塔和深度监督机制引入Att U-net来分割乳腺超声图像。多图像输入可以提供更细粒度的特征映射，但引入过多的低层特征映射会影响对高层语义特征的刻画，降低分割网络的表示能力。尽管这些方法都不同程度地提高了乳腺肿瘤的分割精度，但仍存在两个明显的局限性：（i）多尺度信息更多地依赖于人为设定的卷积核大小，无法自适应地捕捉乳腺肿瘤的多尺度信息（Li et al.2019年）。(ii)他们倾向于使用单一的注意力机制来校准客观特征。最近，Li等人设计了一种选择性核卷积（SK），以在不同的感受野下自适应地选择有用的特征，如图2（a）所示（Li等人，2019年）。虽然通过引入SK块提高了网络的分割性能，但该策略有两个明显的局限性：（i）忽略了空间维度特征的校准，（ii）降低了模块中特征的相关性。
为了克服上述限制，我们首先将空间注意力引入到选择性核卷积模块中以校准空间维度特征，如图2（b）所示。然后，残差学习被添加到选择性核卷积模块中，以加强长距离特征的相关性，如图2（B）所示。最后，我们使用增强的选择性核卷积模块（埃斯克）来构建一个新的深度监督U-网络（命名为ESKNet，如图3所示），以自适应地分割超声图像中的乳腺病变。在一般情况下，本文提出的方法可以总结为以下特点：
11.·首先，设计了一种增强的选择性核卷积，不仅从通道和空间维度自适应地选择不同尺度感受野下的特征，而且进一步增强了远程特征信息的相关性。
2.·第二，开发了一种集成增强的选择性核卷积模块的新型深度监督U形网，以分割超声图像内的乳腺病变。该网络可以通过学习乳腺超声图像中的病灶特异性特征来提高乳腺病灶分割的准确性。
3.此外，我们在可用的数据集上使用许多最先进的深度学习分割方法进行了广泛的实验。实验结果充分证明了该方法对乳腺超声图像分割的上级性能。

相关工作

2.1. CNNs for breast ultrasound segmentation—
许多先进的CNN在乳腺病变分割中获得了比传统分割方法更好的结果（Houssein等人，2021年; Xian等人，2018年）。Lei等人通过引入边界正则化策略改进了编码器-解码器网络对整个乳房超声图像的分割性能（Lei等人，2018年）。为了缓解远距离特征相关性低的问题，Xue等人使用边界检测模块和全局引导块来开发全局引导网络，以实现乳腺病变的自动分割（Xue等人，2021年）。类似地，Chen等人通过设计双向注意力网络来构建级联网络架构以分割乳房超声图像，这可以从更全局的角度约束分割结果（Chen等人，2022年a）。在乳腺病变分割过程中，边界约束的引入可以在不同程度上改善网络的预测结果，但从严重级联或阴影遮挡的区域中获取精确的边界仍然具有挑战性。为了科普分割小乳腺肿瘤的挑战，Shareef等人使用具有共享权重的多尺度卷积模块来从超声图像中捕获乳腺病变的特征（Shareef等人，2020年）。为了自适应地捕获不同感受野下乳腺肿瘤的特征信息，Byra等人开发了选择性核U-网（SKU-net），以使用SK块分割乳腺肿瘤（Byra等人，2020年）。Luo等人使用通道注意模块来校准从两个并行网络提取的特征，用于乳腺肿瘤的自动诊断（Luo等人，2022年）。Lyu等人设计了一种改进的金字塔注意力网络，其结合了注意力机制和多尺度特征（AMS-PAN），用于乳房超声图像分割（Lyu等人，2023年）。受Att U-net的启发，在Att U-net中加入残差学习和多尺度卷积策略，提高了病变组织的分割精度。具体地，Tong等人设计了剩余卷积块来代替原始卷积模块（Tong等人，2021年）。Zhuang等人
通过具有不同膨胀率的膨胀卷积来设计残差块以代替原始卷积模块（Zhuang等人，2019年）。Moon等人开发了一种集成多个CNN架构的CAD系统，以自动诊断乳腺超声图像（Moon等人，2020年）。然而，该方法受到现有网络对乳腺超声图像的分割性能的限制。Wang等人对在U-net的每个阶段捕获的特征图使用深度监督策略约束来分割乳腺病变（Wang等人，2019年）。随着深度监管组件的引入，进一步提高了网络的性能。在这项工作中，我们还探索了一种新的U形框架与深度监督分割乳腺病变，其中深度监督机制只添加到解码阶段。
2.2. Attention mechanism—
受人类视觉注意力的启发，已经开发了许多注意力算法来提高CNN捕获目标特征的能力（Guo et al.，2022年）。Oktay等人开发了一个空间注意力组件来权衡低级语义特征图和高级实例特征图，该组件已成功应用（Oktay等人，2018年）。被称为挤压和异常（SE）块的架构组件可以被校准输入特征图以选择出更好地表征目标的有用通道，该架构组件由Hu等人开发（Hu等人，2020年）。然而，这些架构通常倾向于在编码和解码阶段期间学习固定卷积模式中的特征信息（Roy等人，2018年）。根据SE块，Roy等人设计了一种新颖的scSE块，其同时沿着空间和通道维度挤压特征图（Roy等人，2018年）。类似地，Zhong等人开发了一种新的基于SE块的用于分割任务的挤压和注意力网络（SANet）（Zhong等人，2020年）。Hatamizadeh等人提出了一种新的基于变换器的医学图像分割模型（UNETR），其通过使用跳跃连接将变换器的编码表示直接连接到解码器（Hatamizadeh等人，2022年）。Cao等人构建了一种编码器-解码器架构（Swin-Unet），其具有基于Swin-transformer块的跳过连接，用于医学图像分割（Cao等人，2022年）。Xu等人提出了一种多尺度自注意力网络（MSSA-Net），以在小数据集上实现更好的分割精度（Xu等人，2021年）。Zhao等人开发了一种配备有焦点自我关注块的新型分割网络，用于改善乳腺病变分割的性能（Zhao等人，2022年）。虽然许多改进工作都考虑了通过空间和通道特征融合来提高网络分割性能，但这些方法不能在不同的感受野下自适应地选择有用的特征。为了缓解这一挑战，Li等人设计了选择性核卷积（SK），以自适应地从通道维度选择不同尺度的有用特征信息（Li等人，2019年）。在我们的工作中，我们引入了一个增强的选择核卷积（埃斯克），它可以同时校准的功能在不同的感受野从空间和通道的维度，以提高表示能力。

方法

图3示出了要在乳腺病变分割中实现的具有增强的选择性核卷积（ESKNet）的深度监督U网。类似于U-net的核心结构（Ronneberger等人，2015），我们的ESKNet中使用了四个下采样，四个上采样和四个跳过连接操作。最大的区别是引入了一个增强的选择性核卷积模块（埃斯克）来代替U-网中原有的卷积层，以获得更精确的乳腺病变超声图像预测模板。埃斯克包含具有不同卷积核大小的卷积层，这可以提供更多尺度的感受野。从不同尺度的感受野中获取客观特征，可以增强网络的泛化能力和鲁棒性。如图2（B）所示，在埃斯克中同时执行的通道校准和空间校准可以帮助网络从复杂的乳房超声图像中捕获病变区域的更鲁棒的表征。此外，各埃斯克模块中的剩余连接可以增强长距离特征信息的相关性，进一步提高网络的分割效率。为了进一步细化分割结果，我们使用地面真实掩码来约束每个解码阶段。


3.1. Enhanced selective kernel convolution (ESK)----3.1.增强的选择性核卷积（埃斯克）
原始选择核卷积模块可以粗略地视为具有不同核大小的多尺度卷积块和通道注意块，如图2（a）所示。所开发的增强选择核卷积模块由三个关键组件组成：具有不同卷积核维度的多尺度卷积块、通道注意模块和空间注意模块。更详细地，给定的中间特征图F ∈ Rc×h×w首先经历两个并行卷积运算。这两个并行卷积运算分别是具有5 × 5内核的卷积运算和具有3× 3内核的扩张卷积运算。膨胀卷积运算的膨胀率被设置为3。从两个卷积运算中重新提取的特征图表示为：


其中F ∈ Rc×h×w表示给定的中间特征图，W5×5和W3×3分别表示具有5 × 5核的卷积运算和具有3× 3核的扩张卷积运算的矩阵。F1 ∈ Rc×h×w和F2 ∈ Rc×h×w分别表示通过具有核5 × 5的卷积计算和具有核3× 3的扩张卷积计算提取的特征图。随后，F1 ∈ Rc×h×w和F2 ∈ Rc×h×w沿通道的维度进行沿着积分，并输入到通道注意力模块（见第3.2节）和空间注意力模块（见第3.3节）。合并的特征图可以表示为：


其中，n表示逐元素求和。特征映射FM ∈ Rc×h×w分别用于通道和空间维度校准。最后，通过通道和空间注意力校准的特征图与初始特征图F ∈ Rc×h×w融合，以获得新的特征图集合FCS ∈ Rc×h×w：

其中，n表示逐元素加法。SAM（SAM）被定义为引入的空间注意模块。CAM（CAM）表示为所设计的信道注意模块
3.2. Channel attention module
根据图2（a和B），我们可以观察到本文中使用的信道注意力与SK模块中的信道注意力相同。通道注意力可以帮助网络通过通道尺寸的校准来选择更有用的病变特征。具体而言，信道方式的统计数据首先通过全局平均池化（GAP）操作获得。所获取的特征图表示为：

然后，通过全卷积操作、批量归一化操作和ReLU激活操作来执行特征图SC，以产生一组新的特征图：
其中Wfc ∈ R32×1表示全卷积运算矩阵，矩阵维数为32。B（n）是批归一化操作。δr（）表示ReLU激活操作。我们再次对特征图ZC执行全卷积运算，以获得新的特征图：

要看的论文：
Lei, B., Huang, S., Li, R., Bian, C., Li, H., Chou, Y.-H., & Cheng, J.-Z. (2018).
Segmentation of breast anatomy for automated whole breast ultrasound images with
boundary regularized convolutional encoder–decoder network. Neurocomputing,
321, 178–186.

Xue, C., Zhu, L., Fu, H., Hu, X., Li, X., Zhang, H., & Heng, P. (2021). Global guidance
network for breast lesion segmentation in ultrasound images. Med. Image Anal., 70,
Article 101989.