探索乳腺肿瘤超声图像的创新分割：基于残差U-Net的方法

引言

       在医学领域，乳腺癌的早期诊断对于提高治疗效果和降低病死率至关重要。随着技术的进步，数字图像处理在这一过程中扮演了关键角色。特别是乳腺肿瘤的图像分割技术，不仅能够提升诊断的准确性，还能帮助医生更好地规划治疗方案。本博客将探讨一种利用改进的残差U-Net网络进行乳腺肿瘤超声图像分割的方法，展示这种方法如何帮助医学专家在早期阶段检测并诊断乳腺癌，从而挽救更多生命。

 

U-Net简介

       U-Net，最初为医学图像分割而设计，现已成为该领域的一个基准。它的核心特点是其对称的U形结构，由一个收缩路径和一个扩展路径组成。收缩路径负责捕获图像的背景信息，而扩展路径则用于精确定位感兴趣的区域。在乳腺肿瘤图像分割的应用中，U-Net的这种结构使得网络能够有效地从复杂的医学影像中提取出肿瘤特征，并在保持较低计算成本的同时实现高精度的分割。

 

乳腺肿瘤超声图像的创新分割方法

       此方法利用编码器、混合注意力模块和解码器的结合来处理图像特征。需要特别强调的是，该模型通过残差块和多尺度卷积块的结合，增强了对复杂图像特征的捕捉和分割能力。这种方法的核心优势在于对图像中的细节和边缘部分进行处理时，显著提高了分割精度。

 

1.残差块（Residual Block）

        在深度学习和图像分割领域，残差块已成为一种关键技术。残差块通过引入所谓的“跳跃连接”（skip connections），使得网络能够学习输入和输出之间的残差，即它们的差异。这种结构允许深度网络更有效地传递梯度，解决了深度学习模型中常见的梯度消失问题。

基本计算公式：

 

       在训练深度网络时，很容易遇到梯度消失或梯度爆炸的问题，尤其是当网络非常深时。残差块通过短路连接（或跳跃连接）允许梯度直接流过，从而减轻这些问题。如果输入和输出的维度不匹配，这个短路连接就无法实现。引入线性变换参数 w 使得短路连接在维度上兼容，支持更有效的梯度传播。 

包含线性变换参数的计算公式：

 

2.注意力模块（Attention Module)

        注意力模块在深度学习网络中起着至关重要的作用，尤其是在图像处理任务中。它允许模型专注于图像中最重要的部分，从而提高处理的效率和准确性。通过赋予网络能力来“关注”图像的特定区域，注意力模块使网络能更好地理解和分析图像内容。

 

空间通道注意力块（SCAB）

       空间通道注意力块（SCAB）的引入进一步提升了U-Net架构的性能。SCAB结合了空间注意力和通道注意力，这使得网络不仅能够关注图像中的重要空间区域，还能够识别对特定任务更重要的特征通道。这种双重注意力机制允许模型不仅关注图像中的空间特征（即图像的不同区域），还关注不同的特征通道，这有助于捕捉复杂的图像特征。在乳腺肿瘤图像分割的应用中，混合注意力模块帮助模型更准确地定位和分割肿瘤区域，从而提高了分割的精度和可靠性。在复杂的医学影像分析中，SCAB的使用是对U-Net架构的一个重要补充，使得模型在提取关键图像特征时更加精确和高效。具体实现过程如下图所示。

 计算公式：

 

3.损失函数

目前流行的医学图像分割损失函数：

二元交叉熵损失（BCE Loss）: 这是一种常用于二分类问题的损失函数。它计算的是模型预测值和实际值之间的差异，适用于每个像素点的分类。

 

 Dice损失函数: Dice损失是一种常用于图像分割任务的损失函数，特别是在医学图像处理中。它基于Dice系数，这是一种度量两个样本的相似性的指标。在图像分割中，Dice损失有助于优化模型以更好地识别和分割图像中的目标区域（如肿瘤）。

 

创新分割方法使用的损失函数：

加权复合损失函数（lossNEW）: 该复合损失函数结合了BCE损失和Dice损失，通过一个加权和来实现。公式为 lossNEW = τlossBCE + lossDICE，其中 τ 是一个调整二者优化强度平衡的权重。在实验中，τ 被设定为 1.5 × 10^-3。这种复合损失函数的目的是克服仅使用Dice损失可能导致的优化过程不稳定性，同时结合BCE损失带来的像素级分类精度。 

 

4.神经网络训练 

一、权重初始化

       权重初始化方法是深度学习网络模型训练中非常重要的一个环节。正确的权重初始化方法会影响到网络模型训练的收敛性能和速度。对于多层的神经网络，使用基于梯度下降的优化方法时，可能会遇到梯度爆炸或梯度消失的问题。为了减轻这些问题，论文中使用了一种特定的高斯分布来初始化权重参数。

 

 

二、权重更新

       神经网络的训练是一个寻找最优值的过程，这个过程实际上是通过迭代更新权重来实现。权重更新方法的选择对于优化算法非常关键。在这项研究中，所使用的优化算法是Adam算法。Adam算法是一种自适应动量的随机优化方法，它通过结合梯度的一阶矩和二阶矩信息来迭代更新训练参数，以下是具体计算过程。

 

 

        具体来说，Adam算法在每次迭代中结合了梯度的当前信息（一阶矩）和之前梯度的累积信息（二阶矩），以此来调整学习率。这种方法使得参数更新更加稳定和高效，尤其适用于处理大规模数据集和复杂的模型结构。 

 

实验和评估

       这部分详细展示了使用改进的残差U-Net网络对乳腺肿瘤超声图像进行分割的实验结果。通过使用标准的图像分割性能指标，如Dice系数和Jaccard指数，我们评估了模型的准确性和效率。实验结果显示，相比于传统U-Net架构，引入残差块和SCAB的改进版U-Net在处理复杂医学图像时表现出更高的准确度和更好的分割性能。这些评估结果证明了我们方法的有效性，并为未来的医学图像处理技术提供了有价值的参考。

数据集来源：威斯康星诊断乳腺癌（WDBC）数据集

一、预处理

1.对感兴趣区域的裁剪

       在乳腺超声图像分割任务中，研究感兴趣的区域是乳腺肿瘤。在原始的乳腺超声图像中，肿瘤区域的比例通常很小。为了提高后续超像素生成的效率，需要裁剪原始图像中的感兴趣区域。操作者在原始乳腺超声图像中确定两个对角点，然后绘制一个矩形框以裁剪图像。

2.图像去噪

       乳腺超声图像通常充满噪声，主要噪声类型为斑点噪声，这对图像分割的准确性发起了挑战。在此实验研究中，通过使用双边滤波器，结合了像素之间的灰度相似性和空间信息，这不仅有助于保留肿瘤边缘，而且有效减少了噪声。

3.对比度增强

除了高噪声，乳腺超声图像还具有低对比度的特性。这使得肿瘤区域和周围正常组织的灰度值非常接近，容易导致误诊。提高图像的对比度对于区分肿瘤和正常组织，提高分割准确性至关重要。通过采用灰度直方图均衡化方法来增强图像的对比度。这种方法可以更清晰地区分肿瘤区域和正常组织，减少误诊的可能性。

直方图均衡化的计算公式： 

 

 4.总览

 

二、评估指标

• Dice系数：用于评估区域错误的方法。它通过以特定方式计算分割区域和实际病灶区域的像素来衡量。值越高表示分割效果越好。

• 交并比（IoU）：与Dice类似，衡量分割区域与感兴趣区域（ROI）之间的重叠率。理想状态下，该比率为1，即完全重叠。

• 豪斯多夫距离（HD）：测量分割产生的边界与实际病灶区域的真实子集之间的最大距离。值越低表示边界误差越小。

• 平均绝对误差（MAD）：反映实际病灶区域与分割区域像素之间的平均离散度。值越低表示分割越精确。

 

三、超声图像分割模型分析

*使用不同的损失函数进行训练，包括lossDICE、lossBCE和本实验中提出的复合加权损失函数lossNEW。

训练结果：

在训练的后期阶段，使用复合加权损失函数lossNEW，Dice值曲线稳定上升，而使用其他两种损失函数后，Dice值在达到0.85以上后进入训练瓶颈，最终没有突破0.9。

视觉比较：

在图像对比中，本文提出的模型（图像b）表现出较高的分割精度和轮廓识别能力。与文献[20]和[23]中提出的方法（图像c和d）相比，本研究的方法更接近医生手动标记的轮廓（图像a），显示出更准确的肿瘤边缘识别和更平滑的轮廓线条。证明了所提模型在复杂的乳腺肿瘤超声图像分割任务中的优越性。

量化分析：

        进一步的量化分析显示，相比于其他方法，所提模型在复杂乳腺肿瘤超声图像分析中的分割错误较小，准确性更高。所提方法的Dice值为0.921，比文献[20]和[23]中的方法分别高出0.016和0.028。在肿瘤边缘分割精度方面，所提模型的豪斯多夫距离（HD）指数比文献[23]中的方法低3.08，交并比（IoU）为0.851，平均绝对误差（MAD）为4.99，均优于文献[20]和[23]中的评估指标。这表明新模型能有效提高超声图像区域分割的准确性。

 

结论

        改进后的残差U-Net网络可以实现对复杂的乳腺肿瘤超声图像的分析和处理，并为医务人员提供负责任的医疗诊断援助。在乳腺肿瘤图像分割方面取得了显著成就。这项技术展示了深度学习在医学图像处理中的巨大潜力，特别是在提高诊断准确性和效率方面。这项研究为未来在这一领域的探索提供了坚实的基础，并为医学诊断和治疗规划开辟了新的可能性。我们期待着这些技术在未来医疗实践中的广泛应用和进一步的发展。

 

References

[1] Y. J. Sun, Z. Y. Qu, and Y. H. Li, “Research on breast tumor target detection based on improved mask R-CNN,” Acta Optica Sinica, vol. 41, no. 2, pp. 97–105, 2021.

[2] C. Kaushal, K. Kaushal, and A. Singla, “Firefly optimization based segmentation technique to analyze medical images of breast cancer,” International Journal of Computer Mathematics, vol. 98, no. 7, pp. 1293–1308, 2020.

[3] V. J. Kriti and R. Agarwal, “Assessment of despeckle filtering algorithms for segmentation of breast tumours from ultrasound images,” Biocybernetics and Biomedical Engineering, vol. 39, no. 1, pp. 100–121, 2019.

[4] W. X. Liao, P. He, J. Hao et al., “Automatic identification of breast ultrasound image based on supervised block-based region segmentation algorithm and features combination migration deep learning model,” IEEE Journal of Biomedical and Health Informatics, vol. 24, no. 4, pp. 984–993, 2020.

[5] X. Wang, Y. Guo, Y. Wang, and J. Yu, “Automatic breast tumor detection in ABVS images based on convolutional neural network and superpixel patterns,” Neural Computing & Applications, vol. 31, no. 4, pp. 1069–1081, 2019.

[6] A. Tashk, T. Hopp, and N. V. Ruiter, “An innovative practical automatic segmentation of ultrasound computer tomography images acquired from USCT system,” Iranian Journal of Science & Technology Transactions of Electrical Engineering, vol. 43, no. 2, pp. 167–180, 2019.

[7] K. Wang, S. J. Liang, S. Zhong, Q. Feng, Z. Ning, and Y. Zhang, “Breast ultrasound image segmentation: a coarseto-fine fusion convolutional neural network,” Medical Physics, vol. 48, no. 8, pp. 4262–4278, 2021.

[8] Z. Y. Ning, S. Z. Zhong, Q. J. Feng, W. Chen, and Y. Zhang, “SMU-net: saliency-guided morphology-aware U-net for breast lesion segmentation in ultrasound image,” IEEE Transactions on Medical Imaging, vol. 41, no. 2, pp. 476–490, 2022.

[9] L. Liu, K. Li, W. Qin et al., “Automated breast tumor detection and segmentation with a novel computational framework of whole ultrasound images,” Medical, & Biological Engineering & Computing, vol. 56, no. 2, pp. 183–199, 2018.

[10] P. Jiang, J. Peng, G. Zhang, E. Cheng, V. Megalooikonomou, and H. Ling, “Learning-based Automatic Breast Tumor Detection and Segmentation in Ultrasound images,” in Proceedings of the 2012 9th IEEE International Symposium on Biomedical Imaging (ISBI), pp. 1587–1590, Barcelona, Spain, May2012.

[11] Y. Li, R. Xu, J. Ohya, and H. Iwata, “Automatic fetal body and amniotic fluid segmentation from fetal ultrasound images by encoder-decoder network with inner layers,” in Proceedings of 2017 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 1485–1488, Seogwipo, South Korea, July2017.

[12] Y. Zhang, M. T. C. Ying, L. Yang, A. T. Ahuja, and D. Z. Chen, “Coarse-to-fine stacked fully convolutional nets for lymph node segmentation in ultrasound images,” in Proceedings of

2016 IEEE International Conference on Bioinformatics and Biomedicine, pp. 443–448, Shenzhen, China, December2016.

[13] L. Wu, J. Z. Cheng, S. Li, B. Lei, T. Wang, and D. Ni, “FUIQA: fetal ultrasound image quality assessment with deep convolutional networks,” IEEE Transactions on Cybernetics, vol. 47, no. 5, pp. 1336–1349, 2017.

[14] J. Ma, F. Wu, T. Jiang, Q. Zhao, and D. Kong, “Ultrasound image-based thyroid nodule automatic segmentation using convolutional neural networks,” International Journal of Computer Assisted Radiology and Surgery, vol. 12, pp. 1895– 1910, 2017.

[15] J. Ma, F. Wu, T. Jiang, J. Zhu, and D. Kong, “Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images,” Medical Physics, vol. 44, no. 5, pp. 1678–1691, 2017.

[16] Y. Wang and J. Jiao, “Detection of regions of interest from breast tumor ultrasound images using improved PCNN,” Optics and Precision Engineering, vol. 19, no. 6, pp. 1398–1405, 2011.

[17] Z. Cao, L. Duan, G. Yang et al., “Breast Tumor Detection in Ultrasound Images Using Deep Learning,” in Proceedings of the International Workshop on, Patch-Based Techniques in Medical Imaging, pp. 121–128, Quebec City, Canada, Augest 2017.

[18] H. Greenspan, B. Van Ginneken, and R. M. Summers, “Guest editorial deep learning in medical imaging: overview and future promise of an exciting new technique,” IEEE Transactions on Medical Imaging, vol. 35, no. 5, pp. 1153–1159, 2016.

[19] A. Vakanski, M. Xian, and P. Freer, “Attention enriched deep learning model for breast tumor segmentation in ultrasound images,” Ultrasound in Medicine and Biology, vol. 46, no. 10, pp. 2819–2833, 2020.

[20] Y. Zhang, Y. Liu, H. Cheng, Z. Li, and C. Liu, “Fully multitarget segmentation for breast ultrasound image based on fully convolutional network,” Medical, & Biological Engineering & Computing, vol. 58, no. 1, pp. 2049–2061, 2020.

[21] A. E. Ilesanmi, U. Chaumrattanakul, and S. S. Makhanov, “A method for segmentation of tumors in breast ultrasound images using the variant enhanced deep learning,” Biocybernetics and Biomedical Engineering, vol. 41, no. 2, pp. 802–818, 2021.

[22] P. Tang, X. Yan, Y. Nan, S. Xiang, and Q. Liang, “Feature pyramid non-local network with Transform modal Ensemble learning for breast tumor segmentation in ultrasound images,” IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, vol. 68, no. 12, pp. 3549–3559, 2021.

[23] Z. Fang, M. Y. Qiao, Y. Guo et al., “Combining a fully convolutional network and an active contour model for automatic 2D breast tumor segmentation from ultrasound images,” Journal of Medical Imaging and Health Informatics, vol. 9, no. 7, pp. 1510–1515, 2019.

[24] J. Y. Li, L. L. Cheng, T. J. Xia, H. Ni, and J. Li, “Multi-scale fusion U-net for the segmentation of breast lesions,” IEEE Access, vol. 9, no. 1, pp. 137125–137139, 2021.

[25] S. Hussain, X. M. Xi, I. Ullah et al., “Contextual level-set method for breast tumor segmentation,” IEEE Access, vol. 8, no. 1, pp. 189343–189353, 2020.

[26] H. Lee, J. Park, and J. Y. Hwang, “Channel attention module with multiscale grid average pooling for breast cancer segmentation in an ultrasound image,” IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, vol. 67, no. 7, pp. 1344–1353, 2020.

[27] Zhao, Tianyu, and Hang Dai. "Breast tumor ultrasound image segmentation method based on improved residual u-net network." Computational Intelligence and Neuroscience 2022 (2022).