6.26.4 基于视觉变换的乳房x光片分类迁移学习_根据视觉照片生成x光片-CSDN博客

本文链接：https://blog.csdn.net/qq_47896523/article/details/140007527

乳房x线摄影(MG)在乳腺癌的早期发现中起着重要作用。MG可以在早期发现乳腺癌，即使是不能感觉到肿块的小肿瘤。然而，由于mg的复杂性和放射科医生进行的大量检查，可能会出现误诊。为了给放射科医生提供一个公正的视角，应用图像处理方法和模式识别的计算机辅助检测(CAD)已经发展起来。

传统的CAD模型并不能显著提高MG的诊断效能。在使用传统CAD进行MG异常识别时，显著的假阳性率是主要障碍。假阳性结果导致患者焦虑、不必要的辐射暴露、无意义的活组织检查、高回复率、更高的医疗费用和更多的检查次数。因此，探索了新的更准确的检测技术，从而将机器学习技术用于诊断图像的分类。特别是乳房x线照片的深度学习(deep learning, DL)在过去几年被大量研究和应用于乳腺癌的早期发现。基于卷积神经网络(CNN)的深度学习最近引起了MG的广泛关注，因为它有助于克服CAD系统的限制(假阳性、不必要的辐射暴露、无意义的活检、高回调率、更高的医疗费用和更多的检查次数)。

然而，当用于整张乳房x光图像时，由于在不同特征级别上进行多次卷积，CNN的计算成本很高。首先关注图像的特定区域，而不是整个图像，然后逐渐为整个图像建立特征，导致昂贵的计算步骤。在没有增强的情况下，CNN缺乏处理旋转和尺度不变性的能力，无法编码相对空间信息。为了解决相对空间信息编码失败以及缺乏旋转和尺度不变性处理的问题，使用了基于补丁的乳房图像分类器，其中使用了潜在感兴趣区域(ROI)而不是整个乳房图像。这种方法有局限性。基于CNN的深度学习模型用于乳腺x线摄影乳腺癌检测的第一个挑战是肿瘤定位[30]。

大多数基于cnn的深度学习模型使用基于补丁的方法，即乳房x光片上的可疑肿瘤区域被裁剪并输入模型。这会导致整个乳房x光片的信息丢失，导致假阳性结果。此外，基于补丁的方法耗时且计算量大。基于CNN的方法的第二个限制是，它的性能会根据图像中病变的大小而变化。因此，感兴趣区域(ROI)损伤的大小会影响CNN的性能。第三，CNN需要大量的预处理来弥补较差的图像质量。由于能见度低、对比度低、清晰度差和噪音，相当大比例的异常被误诊或忽视。常用的预处理方法，如滤波器，已被建议用于提高图像质量，图像平滑和降噪。然而，选择最佳的预处理方法来增强CNN分类仍然是一个挑战。第四，CNN在不平衡数据集上表现不佳，从而极大地影响了其性能。训练数据集中正负类之间的不平等被称为数据集不平衡。在不平衡数据集上直接训练CNN模型可能会使预测偏向于具有更多观测值的类别。最后，CNN在多视图乳房x线照片中对肿瘤进行分类时表现不佳，而这在临床环境中是至关重要的辅助手段。目前的CNN模型被训练为检测MG上的肿瘤，而忽略了其他恶性肿瘤的存在。

为了弥补训练图像数据集的不足，两种广泛使用的技术是数据增强和迁移学习。数据增强可以使用原始图像创建重新排列的图像数据，从而增加训练图像数据集的数量和种类。它包括诸如噪声添加、旋转、平移、对比度、饱和度、颜色增强、亮度、缩放和裁剪等操作。迁移学习利用来自选定数据集的预训练权值作为在另一个数据集上进行训练的起点。这种方法可以利用从以前的任务中学到的知识来完成目标任务。几乎所有基于cnn的乳腺x线摄影乳腺癌检测的深度学习方法都利用迁移学习方法来弥补大数据集的不足，并利用具有先验特征知识的优化模型来完成新任务。

开发了一种基于视觉变换的迁移学习的乳房x线摄影乳腺癌检测的深度学习方法。本研究对文献有两大贡献。第一个是图像数据平衡模块，用于解决乳房x光数据集中的类不平衡问题。本研究使用的数据集由两类组成，来自良性和恶性组织，样本量不等。换句话说，类别不平衡可能导致模型学习的偏差。为了克服这个问题，提出了基于增强的类平衡。其次，我们设计了一种基于视觉变换的乳房x线照片分类迁移学习方法。这种新的迁移学习方法利用变形者的自注意方法，改进了基于cnn的迁移学习方法的缺点。