文献阅读2019-Computer-aided diagnosis system for breast ultrasound images using deep learning

文献阅读2019-Computer-aided diagnosis system for breast ultrasound images using deep learning

1 通过生成热图来探索正确分类的区域，热图展示了CNN用于人类恶性/良性分类的重要区域。我们结合两个CNN模型构建了一个集成网络(VGG19和ResNet152)对平衡训练数据进行了微调。此外，我们的研究表明，乳腺肿物本身并没有被CNN检测到作为正确肿物分类的重要区域。

2 当前CNN诊断存在两个问题：1 CNN诊断的过程难以理解，没有可视化；2 数据集太小

3 预处理过程：
a 正方形视图从每个完整的US图像中被裁剪，以去除黑色边缘;
b 从左、中、右或裁剪视图的上、中、下正方形区域裁剪三个补丁，以便包括视图在内的正方形的大小适应于最小的尺寸(宽度或高度);
如下图：
c 裁剪后的补丁大小调整为256×256像素;
d 在调整大小的patch上使用3×3的中值滤波器来降低斑点噪声。

如果一个二类训练集的类分布不平衡，即大多数类的样本数大于少数类的样本数，那么分类器对大多数类就变得过于敏感。这种偏差导致CNN模型的性能下降，因此要进行数据增强。首先，为了增加标记为benign的patch，我们在新生成的patch中随机选取5304个patch，这些经过裁剪为256X256的patch重新调整大小为288X288。然后将他们添加到训练patches中。并且，水平翻转，2)锐化，3)颜色移动，4)颜色抖动，5)用轮距>校正，6)轮距< 1,7)金字塔下校正，和
8)金字塔。
数据集具体为：

4 CNNs
比较三种模型：VGGNet19 和 ResNet152,以及一个集成模型。由该方法构建的网络可以通过简单的平均方法输出恶性肿块和良性肿块的类概率值.。

5 训练算法
我们对来自ImageNet数据集的120万幅自然图像使用了使用预训练的VGG19和ResNet152的转移学习。首先，我们修改了最后一个全连接层的预训练模型的单元，以匹配数据集中类的数量。然后 用一个 大小为64的batches resize 训练patch 为224X224,来微调网络模型。并且使用自适应矩估计(Adam)。Adam的设计是为了适应学习过程，自适应地调整学习率。训练超参数，即学习率和权值衰减，分别设置为0.00001和0.0005。最大学习历期设为50.

6 视图级分类和肿块级分类
提出了视图级和肿块级分类方法，分别以视图级和肿块级预测类别。利用本文提出的方法，将从一个视图中裁剪出来的三个patch的类概率值结合起来，得到视图层次的分类。为此，将每个值按类取平均值，选择值最大的类作为已分类的类。

肿块级的分类是将上述方法从一个肿块的各个视图中裁剪出的斑块的各类概率值组合而得。这些分类是使用测试块大小调整为224×224像素来进行的。如下图：

7 热图分析：
为了将CNN模型检测到的区域可视化，我们使用测试patch生成了基于正确类的概率的热图(Zeiler et al 2014)。
8 评估：
分类表现：在本研究中，通过敏感性、特异性、精度、f-score和曲线下面积(AUC)对视图和质量级分类性能进行评估。评估用测试集。利用Hanley方法估计AUC的95%置信区间。
肿块检测率：我们使用热图计算了VGG19和ResNet152的肿块检出率，以探索在斑块中乳房质量定位的程度，以便用CNN模型进行正确分类。检出率用以下四步计算：
a 从测试batch 中随机挑选50个patch(25个良性、25个恶性)，VGG19 和ResNet152；
b 对于每个选定的patch，生成两张热图;一个来自VGG19，一个来自ResNet152；
c 如果热图的红色区域与肿块部分重叠，或者红色区域覆盖了肿块，则认为CNN检测到了肿块。如果红色区域在包含肿块的区域范围内覆盖非常广泛，或者肿块在patch中没有清晰出现，则将对应的patch排除在计算之外。这些评估是由一个Breast专家做出的。
d 根据步骤c的结果，恶性、良性和总体质量检出率计算公式如下：

图像增强、CNN模型和热图分析在SAS软件实现。通过Python interface (Smith et al 2017)和DLPy 0.7（用于SAS可视化数据挖掘和机器学习中高效应用深度学习方法的高级Python api）。

9 结果

分类表现：

肿块检出率：

可视化：

当VGG19和ResNet152检测到肿块时，通过热图分析对重要区域(斑块中突出显示的区域)进行正确分类的可视化。上面一行为恶性肿块，下面一行为良性肿块。(a)原始补丁。(b)贴有VGG19生成的热图的肿块。©用ResNet152生成的热图覆盖的肿块。

讨论：
虽然使用了所有VGG19和ResNet152正确分类的patch来计算肿物检出率，但超过一半的乳腺肿物未被检出。这表明在大多数斑块中，有用的分类信息并不涉及肿块，尤其是恶性肿块。
如果能从组织学的角度对重要区域进行明确的解释，医生可以对其进行解释，那么检出率可能不需要很高，CNN的预测也会更加可靠。然而，我们还没有检查CNNs提供的重要区域的细节。这个具有挑战性的任务需要在未来的研究中加以解决，以使该系统在临床实践中更容易被接受，因为如果预测过程不明显，一些医生可能会犹豫是否要依靠CNN预测。

在之前的研究中，模型的特异性都要好于敏感性。相反，我们的模型敏感性比特异性高。这个不同可能是由于不平衡的训练数据、恶性肿块多于良性肿块。另外，在之前的研究中，CNNs都是按视图分类，而不是按肿块分类，这可能会导致更长的筛查时间，也可能会让医生对每个视图的预测结果都感到困惑。

在本研究中，我们在训练CNN之前，通过裁剪训练patch上的256×256个中心来增加良性patch，生成一个平衡的训练集，然后将训练patch的大小调整为288×288像素.

此方法有几条局限：1 测试集too small to evaluate the classification performance of the CNN models.在本研究中，我们增加训练集的大小，减少测试集的大小，以尽可能多的数据训练CNN，提高其分类性能。2 数据集没有反映接受乳腺癌筛查的患者的人口，其中包括有肿块和非肿块病变的患者。相反，我们只针对在二次检查中诊断为肿块病变的女性，在我们的数据集中恶性肿块多于良性肿块。这表明已开发的基于cnn的CAD系统不能应用于初次筛查的女性，只能应用于第二次筛查中出现乳房肿块的女性。3 质量检出率存在偏倚,肿块检出率由一名医生主观评估，并不是所有的测试patch都用于计算。