【文献阅读-2】A multi-instance networks with multiple views for classification ofmammograms

最新推荐文章于 2024-09-07 21:52:58 发布

今天也是高要求的小林

最新推荐文章于 2024-09-07 21:52:58 发布

阅读量736

点赞数 12

文章标签：人工智能

本文链接：https://blog.csdn.net/cqmhao/article/details/141227710

版权

摘要

乳腺癌是女性最常见的恶性疾病，早期筛查乳腺癌对提高生存率至关重要。乳房x光检查是乳腺癌筛查中最流行的影像学方法之一，具有实用性、有效性和低成本等特点。然而，乳房x线照片的分类存在图像尺寸大，病变的图像特征不清楚，异常的比例小，类别不平衡等问题。为了解决这些困难，提出了多视图输入和加权多实例学习（MIL）方法。提出了一种集成了上述两种方法的多视图输入的加权 MIL DenseNet 新模型（WMDNet）。采用多视图输入法增强乳房x光片的异常程度，同时从不同视角的乳房x光片中获得更多的潜在特征。加权MIL旨在从乳房x光片中提取最可疑的病变，以解决小比例的异常和类别失衡的问题。为了验证该方法的有效性，在INbamase和MIAS数据集两个公共数据集上评估了三种二元分类模型。实验结果表明，与其他几种最先进的方法相比，该方法都能取得更好的分类结果，特别是该WMDNet模型在两个数据集上都获得了最好的分类结果。

1. 引言

乳腺癌是女性中最常见的癌症之一，占所有女性癌症的15%。此外，乳腺癌的发病率和死亡率逐年上升，年轻女性的发病率有上升的趋势。早期的发现、诊断和治疗对于提高乳腺癌的生存率至关重要。

乳房x光检查通常被认为是早期发现乳腺癌的流行影像学方法。乳房x光检查是一种对女性乳房内部组织的x线检查，它可以准确地检测出乳房的特征。一般来说，患者通常由两张或四张乳房x光片组成，包括颅尾视图（CC）和中外侧斜位视图（MLO），如图1所示，其中乳房x光片样本来自 INbreast 和 MIAS 数据集。CC视图是一个从上到下的视图，可以识别病变的内部到外部的空间位置。MLO视图是一个侧视图，它大致确定了病变的垂直空间位置。放射科医生总是寻找特定的异常，其中肿块和钙化是两种常见的表现，也如图1所示。一般来说，放射科医生可能会根据乳房x光片返回一个结果（正常、良性或恶性）或BI-RADS 类别。检查大量的数字乳房x光照片是极其单调和耗时的。此外，结果可能受到医疗经验的主观因素的影响，如不同的医生可能获得一个乳房x光片不一致的结论。因此，有必要提高检测的准确性，减少医生的工作量。

计算机辅助诊断（CAD）系统在医疗图像中的应用可以大大提高诊断的准确性，方便医务人员，对患者提供巨大的利益。医学图像的特征提取是CAD系统开发的关键技术之一。近年来，深度卷积神经网络（CNNs）由于其强大的能力特征提取，在CAD系统中变得越来越重要。

CNN 已经研究了几十年，在计算机视觉和领域取得了巨大的突破。在大多数乳腺癌的CAD系统中，CNN用于病变的特征提取，包括可疑肿块和钙化，这两种常见的病理体征对研究至关重要。在乳房x光片中发现的病变特征，如位置、分布和轮廓，与乳腺癌检测相关。形状信息高度指示了肿块的恶性肿瘤。乳房x光片的信息对特征提取至关重要。然而，由于乳房x光检查的特点，乳房x光检查识别技术存在一些潜在的问题。首先，病变与乳腺组织之间可能有细微的区别，而病变的特征并不明显。然而，病变的特征是诊断乳腺癌的重要体征。此外，乳房x光片的图像大小通常非常大，病变可能分布在图像的任何部分。然而，这些异常只是整个乳房x光片的一小部分，所以关键的体征只存在于一些小的斑块中，很难准确发现。此外，分类在乳房x光片识别中也面临着类别不平衡的问题，因为在数据集中的负样本通常是正样本的几倍。因此，分类结果可能会偏向于正类。因此，发现病变和乳腺组织之间的差异，准确地发现异常，并解决失衡问题，对于提高乳房x光片的识别结果至关重要。

由于这些方面，在CAD系统中识别良性或恶性的乳房x光片具有挑战性。因此，本文提出了多视图输入方法和加权MIL方法。在这项工作中，乳房x光片的伽马校正被提出以解决病变特征的问题。它增强了异常的图像特征，并使异常特征更不同于乳腺组织。此外，提出了多视图输入，它将乳房x线照片与伽马校正的特征相结合，以获得更关键的病变特征。它有效地保留了原始乳房x光照片中的疾病特征，并从其他视图中提取了额外的潜在特征。此外，还提出了加权MIL方法来解决乳房x光片数据中较小比例的异常和不平衡问题。它从每个乳房x光片中提取出最具鉴别力的 patch，并精确地发现这些大图像中的异常图像特征。综上所述，本工作的创新结论如下： (1)提出了应用基于加权MIL的多视图输入来识别乳房x光片的思想，新的模型称为WMDNet。(2)提出了多视图输入法，从原始和增强的乳房x光片中获得更多的潜在的特征。(3)加权MIL旨在从乳房x光片中提取最可疑的病变，以获得更精确的结果。该模型在INbreast和MIAS数据集上获得了最先进的分类结果，并展示了一种解决乳房x光照片分类问题的新方法。

2. 相关工作

2.1 CNNs for CAD

目前，CNN 已成为 CAD 系统的主要方法。在某些情况下，它们的表现已经跃升到专业医生的水平，CNN 也被用作乳房x光片的分类模型。虽然它们在特征提取方面的性能较好，但当对象的特征不明显时，通常很难提取出有效的特征。因此，在乳房x光片中增强病变，使其特征更加明显是很重要的。提出了利用伽马校正后的乳房x线片特征更明显的多视图输入方法，如图2所示。伽马校正增强了图像的对比度，获得了更好的病变特征，最终校正后的乳房x光片具有更好的视觉效果。此外，所提出的多视图输入模型不同于传统的基于 CNN 的方法，它利用不同的乳房x光片视图作为输入，每个输入通道都提供一个乳房x光片视图。多视图输入法同时使用伽马校正的乳房x光片和原始的乳房x光片作为输入，由于乳房X线照片中明显的图像特征，可以获得检测到的病变的丰富信息，从而获得更好的检测效果。

2.2 Mammographic diagnosis

乳房x光片中病变的检测和分类是许多研究者感兴趣的研究方向。Canereiro等人使用具有感兴趣区域（ROI）的CC和MLO视图来训练单独的CNN模型，然后用提取的特征训练最终的分类器来对乳房x光照片进行分类。此外，一些分类模型中使用了ROI注释。更进一步，还提出了一种集成的深度残差神经网络来识别乳房x光片。它使用了6张输入图像，包括CC和MLO视图，以及每个视图中的肿块和微钙化的二值分割图。提出了一种自动的乳房x光片分析方法，其联合乳房x线光片视图和各自的乳房病变分割图。

在这些模型中，需要两种乳房x光片或病变的ROI。它们在真实情况下的医学图像中并不常见，而且乳房x光片通常也没有额外的注释。此外，在乳房x光片的分析和评估中也存在许多困难。上述这些模型在现实中并不容易应用。绝大多数的分类方法都是基于ROI注释和一个患者的多个乳房x光片。然而，所提出的模型只使用一个患者的乳房x光片来区分良性和恶性病例，没有任何其他注释。

2.3 Multi-instance learning

MIL是多种监督学习。它提供了一种弱监督的建模方法。输入数据的一个实例是一个带标记的包（图像）和一个标签，它包含许多实例（图像中的补丁）。一般来说，包的特征信息是由几个关键的信息实例决定的。如果一个包包含一个或多个正的实例，则它是正的。相反地，只有当一个包中的所有实例都是负的时，它才是负的。

随着神经网络的发展，神经网络和MIL相结合的方法不断出现。随后，许多研究者集中精力对其进行了研究，并设计了实用的MIL算法。除此之外，它还被广泛应用于图像分类、图像分割和图像注释中。对于医学图像识别，我们通常关心感兴趣的区域，它只分布在一个很小的区域内。只要图像 patch 包含特定目标的信息，就可以对图像进行分类。换句话说，局部图像信息决定了一个图像是良性的还是恶性的。因此，MIL技术非常适合于诊断大型医学图像，如 CT 和 X-ray 图像。MIL用于CAD系统进行肺结核检测。Yan等人设计了一个深度MIL框架，并将其用于识别CT图像中的身体部位。Li等人在ResNet中应用MIL在胸部 X-ray 图像中进行疾病识别和定位。

考虑到乳房x光片的大尺寸，病变可能很难被检测到，因为它们只占图像中很小的一部分。因此，本工作将MIL应用于具有多视图输入的CNN，并探索了一种更有效的加权多实例模型来进行乳房x光片分类。它发现最可疑的区域，并通过乳房x光片中斑块的结果大致定位病变。

3. 方法

在本节中，详细描述了多视图输入方法和加权MIL方法。如图3所示，设计出了相应的网络结构，以证明该方法的有效性。

3.1 多视图输入

通常，肿块和钙化是乳房x光检查中疾病的两个重要体征。肿块的形状信息、分组和钙化的分布信息对于正确诊断乳房x光片至关重要。然而，病变的一些特征在乳房x光照片中并不明显，特别是在低质量的图像中。因此，关键问题是改善病变与正常乳腺组织的对比，使其特征更清晰。因此，伽马校正被用来增强乳房x线片的图像对比度和清晰度。在网格间隔为0.1的情况下，对伽马值[0，2]进行了网格搜索，我们在两个数据集中选择了性能更好的伽马值。当用伽马值分别为0.5和1.5对乳房x线照片进行校正时，该方法增强了琐碎的图像细节和图像对比度，具有良好的视觉效果。对于每张乳房x光片，使用以下三张不同的图像（如图2所示）：(1)裁剪后的原始乳房x光片；(2)乳房x线照片伽马值为0.5；(3)伽马值为1.5。当伽马值小于1时，校正后的图像比原始图像更亮，图像的低灰度区域增强明显。当伽马值大于1时，校正后的图像比原始图像更暗，图像的高灰度区域明显增强。因此，两张经伽马校正的乳房x光片图像显示了更详细的信息。

如图2所示，与原始的乳房x光片相比，伽马校正的乳房x光片突出了肿块和钙化的细节。在伽马校正的乳房x光片中，乳房肿块的形状、轮廓和大小更清晰地识别。钙化物的位置、大小和分布，特别是微钙化物，更为明显。即使在较低质量的x射线图像中，如乳房x线图像分析协会（MIAS）数据集，这种方法仍然有效。

为了获得更多的特征信息，采用多视图输入法代替传统的网络输入法。这种方法将这三张伽马校正的乳房x光图像结合起来，并在每张图像中合并乳房x光图像的特征。cnn通常使用3通道RGB彩色图像或灰度图像作为输入。在多视图输入中，不同的图像填充了三个输入通道，如图4所示。与单幅幅图输入相比，多视图输入方法集成了不同的伽马校正图像。它保留了原始乳房x光片的特征，并同时从每个视图中提取更多潜在的特征信息。为了证明这一点，我们设计的多视图输入法模型如图3(b)所示，并与图3(a).所示的基本模型进行了比较第4节的实验结果说明了该方法的有效性。

3.2 加权MIL

在乳房x光分类任务中，恶性乳房x光被认为是阳性的例子，正常或良性乳房x光被认为是阴性的例子。通常，乳房x光照片中的像素数量非常大。与整个乳房x光片的面积相比，肿块和钙化灶的面积非常小，可能占乳房x光片的1%以下。为了解决异常区域小面积引起的问题，采用MIL方法对乳房x光片进行分类。在这项研究中，一个完整的乳房x光检查是一组例子。乳房x光片的每一块都是一个例子。因此，乳房x光片的分类被认为是一个标准的MIL问题。

在MIL方法中，乳房x光片被认为是一组实例，而乳房x光片的分类可以被转换为实例的分类。这些实例的结果直接决定了乳房x光片的良性或恶性。一组乳房x光图像数据包括包 $\left \{ M_{0}, M_{1},...,M_{N}\right \}$ 和标签 $\left \{ Y^{ M_{0}} ,Y^{ M_{1}} ,...,Y^{ M_{N}} \right \}$ 。数据集中的第i个乳房x光片包 $M_{i}$ 由一组实例组成。其表示为： $M_{i}= \left \{ m_{i0},m_{i1},...,m_{in}\right \}$ 。其中， $n$ 为实例总数， $m_{ij}$ 为 $M_{i}$ 中的第 $j$ 个实例。如图5所示，根据特征图 $V_{i}$ 的大小，将乳房x光照片 $M_{i}$ 分为多个实例。因此，乳房x光片 $M_{i}$ 被分为 $h_{1}\times w_{1}$ 个实例，并且该包包含了乳房x光片中的所有实例。当一个或多个恶性实例 $m_{ij}$ 存在时，乳房x光片 $M_{i}$ 呈阳性。否则，乳房x光片 $M_{i}$ 结果均为阴性。MIL假设每个实例 $m_{ij}$ 都有一个实例标签 $y^{m_{ij}}\in \left \{ 0,1 \right \}$ ，并且乳房x光片 $M_{i}$ 的标签可以表示如下：

$Y^{M_{i}}=\left\{\begin{matrix} 1, &if \ \exists y^{m_{ij}}=1, for j=0,1,...,n,\\ 0, & otherwise. \end{matrix}\right.$

在该模型中，根据最后一张特征图的大小，将乳房x光片分成 patch。包含病变的patch将会被检测到以进行乳房x光片诊断。通过CNN提取乳房x光片 $M_{i}$ 的特征图 $V_{i}$ ，实例 $m_{ij}$ 有一个特征向量 $v_{ij}$ 。每个实例 $m_{ij}$ 都有一个由 $v_{ij}$ 产生的恶性概率 $g_{ij}$ （如图5所示）。它定义为：

$g_{ij}=Sigmoid(W\cdot v_{ij}),$

其中， $W$ 是一个逻辑回归权重矩阵。 $M_{i}$ 中所有实例的概率为 $G_{i} = (g_{i1},g_{i2},...,g_{in})$ 。如果乳房x光检查为恶性病变，则至少有一例出现恶性病变。因此，这些恶性病例的概率预计将接近于1。对于一个良性的乳房x光检查 $M_{i}$ ，所有的病例都是正常的或良性的。因此，所有实例的概率预计都将接近于0。因此，可以使用最大概率 $max\left \{ g_{ij} \right \}$ 来表示乳房x光片 $M_{i}$ 的恶性概率，其定义为：

$P\left ( Y^{M_{i}} =1|M_{i}\right )=max\left \{ g_{ij} \right \},$

$P\left ( Y^{M_{i}} =0|M_{i}\right )=1-max\left \{ g_{ij} \right \},$

其中， $P\left ( Y^{M_{i}} =1|M_{i}\right )$ 代表乳房x光片的恶性概率， $P\left ( Y^{M_{i}} =0|M_{i}\right )$ 代表良性概率。

此外，在数据集中，良性图像的数量通常是恶性图像的几倍。因此，模型可能更倾向于将数据预测为良性的，这将影响模型的性能。为了解决这个问题，本文提出了一种加权MIL方法。

在加权MIL方法中，定义了一对权值 $\left [ W_{0},W_{1} \right ]$ 。权重 $W_{0}$ 为良性类的权重， $W_{1}$ 为恶性类的权重，其中 $W_{0}=\frac{N_{1}}{N_{0}+N_{1}}, W_{1}=1-W_{0},$ $N_{0}$ 和 $N_{1}$ 分别为良性和恶性乳房x线照片的总数。加权MIL的损失定义如下：

$Loss_{w-mil}=-\sum_{i=1}^{N}W_{Y^{M_i}}\log P\left ( Y^{M_i}| M_i\right ),$

其中

$W_{Y^{M_i}}=\left\{\begin{matrix} W_1, & Y^{M_i}=1,\\ W_0, & Y^{M_i}=0, \end{matrix}\right.$

$N$ 是乳房x光检查的总数。为了证明加权MIL的有效性，我们设计了一个采用加权MIL方法的模型，如图3(c)所示。

本文给出了整合多视图输入和加权MIL的WMDNet模型（如图3(d)所示）。在多视图输入模块中，伽马校正的和原始的乳房x光片是神经网络的输入。该方法从多个视图中获取特征信息，并同时保留原始图像特征。它可以提高预测模型的性能。加权MIL模块可以提取出乳房x光片中最可疑的区域，解决类不平衡问题。

4. 实验

本节首先介绍了实验中使用的数据集，并详细介绍了网络的实现。然后，将模型的性能与其他相关方法的已发表的结果进行了比较。并说明了各模型的稳定性和收敛性。

4.1 数据集

INbreast和MIAS是我们实验中使用的两个常见的乳房x光检查数据集。 INbreast数据集包含115例，其中90例为每例4张图像，25例为每例2张图像。有310张阴性（良性）和100张阳性（恶性）图像，大小为3328 $\times$ 4084或2560 $\times$ 3328像素。此外，在数据集中还提供了对异常区域（包括肿块和钙化）的性质、大小、形状和位置的详细描述。MIAS数据集共有322张乳房x光片（161对），其中包含270张阴性图像和52张阳性图像，大小为1024 $\times$ 1024像素。MIAS与 INbreast提供的BI-RADS类别不同，提供三种病理结果：正常、良性和恶性。这项研究将乳房x光检查标记为良性（包括正常和良性）或恶性。表1给出了这两个数据集的细节。在实验中，数据集被随机分为训练集和测试集，这样80%的案例可用于训练，20%用于测试。

4.2 细节

三个实验被设计来证明所提方法的有效性。我们分别进行了基于ResNet、Inception 和DenseNet 的实验，为数据集选择了合适的CNN结构。因为它们具有更好的特征提取能力和图像分类结果作为最新的CNN结构。表2显示了不同模型对INbreast和MIAS的研究结果。与各种架构的结果相比，DenseNet取得了较好的结果。因此，我们选择DenseNet模型作为特征提取器，并对基于模型的模型应用不同的方法来验证每种模型的有效性，如图3所示。对于具有多视图输入的模型，首先对乳房x光片进行伽马校正处理，并输入一个乳房x光片的三种不同校正。对于具有加权MIL的模型，该模型使用原始的乳房x光片作为输入，并通过加权MIL识别特征向量。在WMDNet模型中，集成了多视图输入和加权MIL。

今天也是高要求的小林

关注

12
点赞
踩
19

收藏

觉得还不错? 一键收藏
0
评论
【文献阅读-2】A multi-instance networks with multiple views for classification ofmammograms

乳腺癌是女性最常见的恶性疾病，早期筛查乳腺癌对提高生存率至关重要。乳房x光检查是乳腺癌筛查中最流行的影像学方法之一，具有实用性、有效性和低成本等特点。然而，乳房x线照片的分类存在图像尺寸大，病变的图像特征不清楚，异常的比例小，类别不平衡等问题。为了解决这些困难，提出了多视图输入和加权多实例学习（MIL）方法。提出了一种集成了上述两种方法的。采用多视图输入法增强乳房x光片的异常程度，同时从不同视角的乳房x光片中获得更多的潜在特征。
复制链接

扫一扫