摘要
乳腺癌是女性最常见的恶性疾病,早期筛查乳腺癌对提高生存率至关重要。乳房x光检查是乳腺癌筛查中最流行的影像学方法之一,具有实用性、有效性和低成本等特点。然而,乳房x线照片的分类存在图像尺寸大,病变的图像特征不清楚,异常的比例小,类别不平衡等问题。为了解决这些困难,提出了多视图输入和加权多实例学习(MIL)方法。提出了一种集成了上述两种方法的多视图输入的加权 MIL DenseNet 新模型(WMDNet)。采用多视图输入法增强乳房x光片的异常程度,同时从不同视角的乳房x光片中获得更多的潜在特征。加权MIL旨在从乳房x光片中提取最可疑的病变,以解决小比例的异常和类别失衡的问题。为了验证该方法的有效性,在INbamase和MIAS数据集两个公共数据集上评估了三种二元分类模型。实验结果表明,与其他几种最先进的方法相比,该方法都能取得更好的分类结果,特别是该WMDNet模型在两个数据集上都获得了最好的分类结果。
1. 引言
乳腺癌是女性中最常见的癌症之一,占所有女性癌症的15%。此外,乳腺癌的发病率和死亡率逐年上升,年轻女性的发病率有上升的趋势。早期的发现、诊断和治疗对于提高乳腺癌的生存率至关重要。
乳房x光检查通常被认为是早期发现乳腺癌的流行影像学方法。乳房x光检查是一种对女性乳房内部组织的x线检查,它可以准确地检测出乳房的特征。一般来说,患者通常由两张或四张乳房x光片组成,包括颅尾视图(CC)和中外侧斜位视图(MLO),如图1所示,其中乳房x光片样本来自 INbreast 和 MIAS 数据集。CC视图是一个从上到下的视图,可以识别病变的内部到外部的空间位置。MLO视图是一个侧视图,它大致确定了病变的垂直空间位置。放射科医生总是寻找特定的异常,其中肿块和钙化是两种常见的表现,也如图1所示。一般来说,放射科医生可能会根据乳房x光片返回一个结果(正常、良性或恶性)或BI-RADS 类别。检查大量的数字乳房x光照片是极其单调和耗时的。此外,结果可能受到医疗经验的主观因素的影响,如不同的医生可能获得一个乳房x光片不一致的结论。因此,有必要提高检测的准确性,减少医生的工作量。
计算机辅助诊断(CAD)系统在医疗图像中的应用可以大大提高诊断的准确性,方便医务人员,对患者提供巨大的利益。医学图像的特征提取是CAD系统开发的关键技术之一。近年来,深度卷积神经网络(CNNs)由于其强大的能力特征提取,在CAD系统中变得越来越重要。
CNN 已经研究了几十年,在计算机视觉和领域取得了巨大的突破。在大多数乳腺癌的CAD系统中,CNN用于病变的特征提取,包括可疑肿块和钙化,这两种常见的病理体征对研究至关重要。在乳房x光片中发现的病变特征,如位置、分布和轮廓,与乳腺癌检测相关。形状信息高度指示了肿块的恶性肿瘤。乳房x光片的信息对特征提取至关重要。然而,由于乳房x光检查的特点,乳房x光检查识别技术存在一些潜在的问题。首先,病变与乳腺组织之间可能有细微的区别,而病变的特征并不明显。然而,病变的特征是诊断乳腺癌的重要体征。此外,乳房x光片的图像大小通常非常大,病变可能分布在图像的任何部分。然而,这些异常只是整个乳房x光片的一小部分,所以关键的体征只存在于一些小的斑块中,很难准确发现。此外,分类在乳房x光片识别中也面临着类别不平衡的问题,因为在数据集中的负样本通常是正样本的几倍。因此,分类结果可能会偏向于正类。因此,发现病变和乳腺组织之间的差异,准确地发现异常,并解决失衡问题,对于提高乳房x光片的识别结果至关重要。
由于这些方面,在CAD系统中识别良性或恶性的乳房x光片具有挑战性。因此,本文提出了多视图输入方法和加权MIL方法。在这项工作中,乳房x光片的伽马校正被提出以解决病变特征的问题。它增强了异常的图像特征,并使异常特征更不同于乳腺组织。此外,提出了多视图输入,它将乳房x线照片与伽马校正的特征相结合,以获得更关键的病变特征。它有效地保留了原始乳房x光照片中的疾病特征,并从其他视图中提取了额外的潜在特征。此外,还提出了加权MIL方法来解决乳房x光片数据中较小比例的异常和不平衡问题。它从每个乳房x光片中提取出最具鉴别力的 patch,并精确地发现这些大图像中的异常图像特征。综上所述,本工作的创新结论如下: (1)提出了应用基于加权MIL的多视图输入来识别乳房x光片的思想,新的模型称为WMDNet。(2)提出了多视图输入法,从原始和增强的乳房x光片中获得更多的潜在的特征。(3)加权MIL旨在从乳房x光片中提取最可疑的病变,以获得更精确的结果。该模型在INbreast和MIAS数据集上获得了最先进的分类结果,并展示了一种解决乳房x光照片分类问题的新方法。
2. 相关工作
2.1 CNNs for CAD
目前,CNN 已成为 CAD 系统的主要方法。在某些情况下,它们的表现已经跃升到专业医生的水平,CNN 也被用作乳房x光片的分类模型。虽然它们在特征提取方面的性能较好,但当对象的特征不明显时,通常很难提取出有效的特征。因此,在乳房x光片中增强病变,使其特征更加明显是很重要的。提出了利用伽马校正后的乳房x线片特征更明显的多视图输入方法,如图2所示。伽马校正增强了图像的对比度,获得了更好的病变特征,最终校正后的乳房x光片具有更好的视觉效果。此外,所提出的多视图输入模型不同于传统的基于 CNN 的方法,它利用不同的乳房x光片视图作为输入,每个输入通道都提供一个乳房x光片视图。多视图输入法同时使用伽马校正的乳房x光片和原始的乳房x光片作为输入,由于乳房X线照片中明显的图像特征,可以获得检测到的病变的丰富信息,从而获得更好的检测效果。
2.2 Mammographic diagnosis
乳房x光片中病变的检测和分类是许多研究者感兴趣的研究方向。Canereiro等人使用具有感兴趣区域(ROI)的CC和MLO视图来训练单独的CNN模型,然后用提取的特征训练最终的分类器来对乳房x光照片进行分类。此外,一些分类模型中使用了ROI注释。更进一步,还提出了一种集成的深度残差神经网络来识别乳房x光片。它使用了6张输入图像,包括CC和MLO视图,以及每个视图中的肿块和微钙化的二值分割图。提出了一种自动的乳房x光片分析方法,其联合乳房x线光片视图和各自的乳房病变分割图。
在这些模型中,需要两种乳房x光片或病变的ROI。它们在真实情况下的医学图像中并不常见,而且乳房x光片通常也没有额外的注释。此外,在乳房x光片的分析和评估中也存在许多困难。上述这些模型在现实中并不容易应用。绝大多数的分类方法都是基于ROI注释和一个患者的多个乳房x光片。然而,所提出的模型只使用一个患者的乳房x光片来区分良性和恶性病例,没有任何其他注释。
2.3 Multi-instance learning
MIL是多种监督学习。它提供了一种弱监督的建模方法。输入数据的一个实例是一个带标记的包(图像)和一个标签,它包含许多实例(图像中的补丁)。一般来说,包的特征信息是由几个关键的信息实例决定的。如果一个包包含一个或多个正的实例,则它是正的。相反地,只有当一个包中的所有实例都是负的时,它才是负的。
随着神经网络的发展,神经网络和MIL相结合的方法不断出现。随后,许多研究者集中精力对其进行了研究,并设计了实用的MIL算法。除此之外,它还被广泛应用于图像分类、图像分割和图像注释中。对于医学图像识别,我们通常关心感兴趣的区域,它只分布在一个很小的区域内。只要图像 patch 包含特定目标的信息,就可以对图像进行分类。换句话说,局部图像信息决定了一个图像是良性的还是恶性的。因此,MIL技术非常适合于诊断大型医学图像,如 CT 和 X-ray 图像。MIL用于CAD系统进行肺结核检测。Yan等人设计了一个深度MIL框架,并将其用于识别CT图像中的身体部位。Li等人在ResNet中应用MIL在胸部 X-ray 图像中进行疾病识别和定位。
考虑到乳房x光片的大尺寸,病变可能很难被检测到,因为它们只占图像中很小的一部分。因此,本工作将MIL应用于具有多视图输入的CNN,并探索了一种更有效的加权多实例模型来进行乳房x光片分类。它发现最可疑的区域,并通过乳房x光片中斑块的结果大致定位病变。
3. 方法
在本节中,详细描述了多视图输入方法和加权MIL方法。如图3所示,设计出了相应的网络结构,以证明该方法的有效性。
3.1 多视图输入
通常,肿块和钙化是乳房x光检查中疾病的两个重要体征。肿块的形状信息、分组和钙化的分布信息对于正确诊断乳房x光片至关重要。然而,病变的一些特征在乳房x光照片中并不明显,特别是在低质量的图像中。因此,关键问题是改善病变与正常乳腺组织的对比,使其特征更清晰。因此,伽马校正被用来增强乳房x线片的图像对比度和清晰度。在网格间隔为0.1的情况下,对伽马值[0,2]进行了网格搜索,我们在两个数据集中选择了性能更好的伽马值。当用伽马值分别为0.5和1.5对乳房x线照片进行校正时,该方法增强了琐碎的图像细节和图像对比度,具有良好的视觉效果。对于每张乳房x光片,使用以下三张不同的图像(如图2所示):(1)裁剪后的原始乳房x光片;(2)乳房x线照片伽马值为0.5;(3)伽马值为1.5。当伽马值小于1时,校正后的图像比原始图像更亮,图像的低灰度区域增强明显。当伽马值大于1时,校正后的图像比原始图像更暗,图像的高灰度区域明显增强。因此,两张经伽马校正的乳房x光片图像显示了更详细的信息。
如图2所示,与原始的乳房x光片相比,伽马校正的乳房x光片突出了肿块和钙化的细节。在伽马校正的乳房x光片中,乳房肿块的形状、轮廓和大小更清晰地识别。钙化物的位置、大小和分布,特别是微钙化物,更为明显。即使在较低质量的x射线图像中,如乳房x线图像分析协会(MIAS)数据集,这种方法仍然有效。
为了获得更多的特征信息,采用多视图输入法代替传统的网络输入法。这种方法将这三张伽马校正的乳房x光图像结合起来,并在每张图像中合并乳房x光图像的特征。cnn通常使用3通道RGB彩色图像或灰度图像作为输入。在多视图输入中,不同的图像填充了三个输入通道,如图4所示。与单幅幅图输入相比,多视图输入方法集成了不同的伽马校正图像。它保留了原始乳房x光片的特征,并同时从每个视图中提取更多潜在的特征信息。为了证明这一点,我们设计的多视图输入法模型如图3(b)所示,并与图3(a).所示的基本模型进行了比较第4节的实验结果说明了该方法的有效性。
3.2 加权MIL
在乳房x光分类任务中,恶性乳房x光被认为是阳性的例子,正常或良性乳房x光被认为是阴性的例子。通常,乳房x光照片中的像素数量非常大。与整个乳房x光片的面积相比,肿块和钙化灶的面积非常小,可能占乳房x光片的1%以下。为了解决异常区域小面积引起的问题,采用MIL方法对乳房x光片进行分类。在这项研究中,一个完整的乳房x光检查是一组例子。乳房x光片的每一块都是一个例子。因此,乳房x光片的分类被认为是一个标准的MIL问题。
在MIL方法中,乳房x光片被认为是一组实例,而乳房x光片的分类可以被转换为实例的分类。这些实例的结果直接决定了乳房x光片的良性或恶性。一组乳房x光图像数据包括包 和标签
。数据集中的第i个乳房x光片包
由一组实例组成。其表示为:
。其中,
为实例总数,
为
中的第
个实例。如图5所示,根据特征图
的大小,将乳房x光照片
分为多个实例。因此,乳房x光片
被分为
个实例,并且该包包含了乳房x光片中的所有实例。当一个或多个恶性实例
存在时,乳房x光片
呈阳性。否则,乳房x光片
结果均为阴性。MIL假设每个实例
都有一个实例标签
,并且乳房x光片
的标签可以表示如下:
在该模型中,根据最后一张特征图的大小,将乳房x光片分成 patch。包含病变的patch将会被检测到以进行乳房x光片诊断。通过CNN提取乳房x光片的特征图
,实例
有一个特征向量
。每个实例
都有一个由
产生的恶性概率
(如图5所示)。它定义为:
其中,是一个逻辑回归权重矩阵。
中所有实例的概率为
。如果乳房x光检查为恶性病变,则至少有一例出现恶性病变。因此,这些恶性病例的概率预计将接近于1。对于一个良性的乳房x光检查
,所有的病例都是正常的或良性的。因此,所有实例的概率预计都将接近于0。因此,可以使用最大概率
来表示乳房x光片
的恶性概率,其定义为:
其中,代表乳房x光片的恶性概率,
代表良性概率。
此外,在数据集中,良性图像的数量通常是恶性图像的几倍。因此,模型可能更倾向于将数据预测为良性的,这将影响模型的性能。为了解决这个问题,本文提出了一种加权MIL方法。
在加权MIL方法中,定义了一对权值。权重
为良性类的权重,
为恶性类的权重,其中
和
分别为良性和恶性乳房x线照片的总数。加权MIL的损失定义如下:
其中
是乳房x光检查的总数。为了证明加权MIL的有效性,我们设计了一个采用加权MIL方法的模型,如图3(c)所示。
本文给出了整合多视图输入和加权MIL的WMDNet模型(如图3(d)所示)。在多视图输入模块中,伽马校正的和原始的乳房x光片是神经网络的输入。该方法从多个视图中获取特征信息,并同时保留原始图像特征。它可以提高预测模型的性能。加权MIL模块可以提取出乳房x光片中最可疑的区域,解决类不平衡问题。
4. 实验
本节首先介绍了实验中使用的数据集,并详细介绍了网络的实现。然后,将模型的性能与其他相关方法的已发表的结果进行了比较。并说明了各模型的稳定性和收敛性。
4.1 数据集
INbreast和MIAS是我们实验中使用的两个常见的乳房x光检查数据集。 INbreast数据集包含115例,其中90例为每例4张图像,25例为每例2张图像。有310张阴性(良性)和100张阳性(恶性)图像,大小为33284084或2560
3328像素。此外,在数据集中还提供了对异常区域(包括肿块和钙化)的性质、大小、形状和位置的详细描述。MIAS数据集共有322张乳房x光片(161对),其中包含270张阴性图像和52张阳性图像,大小为1024
1024像素。MIAS与 INbreast提供的BI-RADS类别不同,提供三种病理结果:正常、良性和恶性。这项研究将乳房x光检查标记为良性(包括正常和良性)或恶性。表1给出了这两个数据集的细节。在实验中,数据集被随机分为训练集和测试集,这样80%的案例可用于训练,20%用于测试。
4.2 细节
三个实验被设计来证明所提方法的有效性。我们分别进行了基于ResNet、Inception 和DenseNet 的实验,为数据集选择了合适的CNN结构。因为它们具有更好的特征提取能力和图像分类结果作为最新的CNN结构。表2显示了不同模型对INbreast和MIAS的研究结果。与各种架构的结果相比,DenseNet取得了较好的结果。因此,我们选择DenseNet模型作为特征提取器,并对基于模型的模型应用不同的方法来验证每种模型的有效性,如图3所示。对于具有多视图输入的模型,首先对乳房x光片进行伽马校正处理,并输入一个乳房x光片的三种不同校正。对于具有加权MIL的模型,该模型使用原始的乳房x光片作为输入,并通过加权MIL识别特征向量。在WMDNet模型中,集成了多视图输入和加权MIL。