6.26.4.3 条件生成对抗和卷积网络用于x射线乳房质量分割和形状分类

        一种基于条件生成对抗网络(conditional Generative Adversarial Networks, cGAN)的乳房肿块分割方法。假设cGAN结构非常适合准确地勾勒出质量区域，特别是当训练数据有限时。生成网络学习肿瘤的内在特征，而对抗网络强制分割与基础事实相似。从公开DDSM数据集和我们内部私有数据集提取的数十个恶性肿瘤进行的实验证实了我们的假设，骰子系数和Jaccard指数非常高(分别> 94%和> 89%)，优于其他最先进的方法获得的分数。此外，为了检测分割肿瘤的重要形态学特征，还设计了一个特定的卷积神经网络(CNN)，将分割的肿瘤区域分为四种类型(不规则、小叶、椭圆形和圆形)，在DDSM数据集上的总体准确率约为72%。

1. 介绍

        乳房x线摄影筛查是早期发现乳腺癌最可靠的方法。在各种类型的乳房异常中，如微钙化或结构扭曲，乳房肿块是最重要的发现，因为它们可能提示恶性肿瘤的存在。然而，由于肿块与周围健康组织的高可变性、低对比度和高相似性以及低信噪比，定位肿块和识别肿块边界是一项困难的任务。 

        CAD系统被强烈推荐用于帮助放射科医生检测肿块，勾勒出它们的边界（即肿块分割），以及提出它们的形态特征，如形状类型（不规则、分叶状、椭圆形和圆形）和边缘类型（界限清晰、模糊、定义不清、有毛刺）。最近的研究表明，肿块特征与分子亚型之间存在一些松散的关联，分子亚型（如Luminal-A、Luminal-B、HER-2和Basal-like）是制定最佳肿瘤治疗方案的关键。 提出了一个基于条件生成对抗网络（cGAN）的乳腺肿块分割新方法。从肿块的二值掩码中预测肿块的形状类型（不规则、分叶状、椭圆形和圆形）。本文还研究了肿块形状与分子亚型之间的相关性。

2. 相关工作

        提出许多方法来解决乳房质量分割问题，包括基于阈值分割、迭代像素分类、区域生长、区域聚类、边缘检测、模板匹配和随机松弛等技术[1,9]。 

        对于分割问题，一些建议依赖于经典的统计模型，如结构化支持向量机，使用深度信念网络或CNN特征作为其潜在函数[10]。另一方面，也可以基于全卷积网络(Fully Convolutional Network, FCN)方法进行图像分割[11]。然而，经典的FCN管道不能准确地保留对象的边界。为了克服这一缺点，FCN网络与考虑像素位置的CRF层相连接，以加强输出分割的紧凑性[12]。 

3. 提出的模型

3.1 系统概述

        图1表示了所提出的用于大规模分割的cGAN网络的训练阶段(左)以及完整的预测工作流(右)，由两个阶段定义。第一阶段使用训练的cGAN的生成器部分自动获得一个二进制掩码，该掩码选择应该对应于乳腺肿块区域的像素(白色)，而忽略对应于健康组织的像素(黑色)。输入图像是包含ROI质量的乳房x光片的平方裁剪。将输入重塑为256×256像素大小，并将每个像素的值缩放为[0,1]范围。为了去除噪声，用0.5标准差的高斯滤波对图像进行了正则化。工作流的第二阶段使用经过训练的常规CNN将得到的二值掩模分为四类质量形状中的一类，即不规则、小叶、椭圆形和圆形。

3.2 肿块分割模型（cGAN）

假设[8]中提出的cGAN结构对于分割来说是完美的，主要有两个原因:

• cGAN的生成器网络是由编码器和解码器两个网络组成的FCN网络。编码器可以学习肿块和正常乳腺实质的内在特征(灰度、纹理、梯度、边缘、形状等)，反过来，解码器可以学习如何根据两个输出类(肿块/正常)的输入特征标记二进制掩码。

• cGAN的判别网络将生成的二值掩码与相应的真值进行比较，使它们尽可能地相似。因此，在生成器的损失计算中加入对抗分数可以增强其提供有效分割的能力。 

        生成器/判别器网络的组合允许用很少的训练样本进行鲁棒学习。由于生成和判别网络都是通过观察输入图像来调节的，因此产生的分割是对输入像素的函数。否则，常规GAN(无条件)将仅仅从随机噪声中推断分割，这显然不会将x射线聚集的质量外观与输出的二进制掩模绑定在一起。

---

 表示一幅肿块ROI图像， 表示相应的分割， 为随机变量， 为预测掩码， 是真实值与预测掩码之间的归一化距离， 是经验加权因子，是判别器的输出分数，则生成器的损失定义为：

如果只使用L1项，由于距离度量平均了所有像素差，因此得到的二值掩模会被模糊。因此，包括对抗项允许生成器学习如何在细粒度细节(高频)上转换输入图像，从而产生清晰而逼真的二进制掩模。 

 

因此，优化器将拟合鉴别器网络，以最大化真实掩码预测(通过最小化)和最小化生成的掩码预测(通过最小化)。 

3.3 形状分类模型（CNN）

        在这个阶段，选择了CNN方法而不是其他提取形状特征的经典方法(例如HOG，形状上下文)，主要是因为深度神经网络在物体识别和分割任务中取得了成功[14]。然而，这一阶段的输入图像(二值掩模)并没有呈现像素值的复杂分布，只是形态结构，因此假设一个相当简单的CNN(即两个卷积层加上两个完全连接层)将足以学习四种质量形状的泛化。 

4. 实验

4.1 数据集

DDSM数据集:这是一个公开的数据库，包括大约2500个乳腺良性和恶性肿瘤肿块，具有不同形状类别的基础事实。从恶性病例中，我们选择567张乳腺x线照片(不规则、小叶、椭圆形和圆形分别为330张、108张、90张和39张)。我们已经使用这个数据集来训练分割和形状分类模型。

Reus医院数据集:包含194个恶性肿块，分布在四种分子亚型乳腺癌中:64个Luminal-A, 59个Luminal-B, 34个Her-2和37个Basal-like。该数据集用于测试分割模型，并对形状质量和分子亚型分布进行分析。

4.2 实验结果

        在第一阶段，训练了两个版本的cGAN架构，Auto-Encoder(即没有跳过连接)和U-Net(即有跳过连接)，并将它们与三种模型进行比较:FCN [11]， U-Net[17]和CRFCNN[10]为我们的数据重新训练。对于所有的实验，DDSM数据集被分成训练、验证和测试三个部分，分别占70%、15%和15%。然后，整个内部私有数据集样本被用于测试(见表1)。分割后，应用了后处理形态学滤波(即侵蚀和膨胀)，从所有比较方法生成的二进制掩模中去除伪影和小白色区域。 

        cGAN-Unet在DDSM测试样本上提供了所有计算指标的最佳结果，具有非常显著的准确性，Dice和Jaccard分数(分别约为97%，94%和89%)。然而，在内部私有数据集上，cGAN-AutoEnc在Dice, Jaccard和Sensitivity方面比cGAN-Unet产生更好的结果(分别为+2%，+4%和+12%)，这表明cGAN-AutoEnc已经学习了更广义的肿瘤特征表示，因为它在未用于训练的数据集上表现更好。虽然cGAN-AutoEnc的准确率(94.81%)并不高于FCN(94.84%)和cGAN-Unet(95.55%)，但前者的真阳性率(97.26%)非常可观，其中Dice和Jaccard的真阳性率最高(分别为88.94%和80.08%)。FCN模型获得了最高的真阴性率(99.05%)，但其灵敏度(80.02%)低于两种cGAN模型，它比cGAN模型遗漏了更多的真实肿瘤区域。另一方面，尽管U-Net和FCN方法在DDSM数据集上表现相对较好，但U-Net和CRFCNN在私有数据集上的灵敏度和特异性都较差。

        从DDSM数据集中选择的80%的图像用于训练我们的分类器，使用其相应的质量形状标签的基础真值，使用分层的10次交叉验证，每一次50次epoch。剩下的20%的图像用于测试，总体精度约为72%。

        肿瘤形态对预测乳腺癌分子亚型有重要作用[18]。因此，计算了内部私有数据集的乳腺癌分子亚型类别与四种形状类别之间的相关性。如表2所示，Luminal-A和-B组大多属于不规则和小叶形状类。此外，一些与Luminal-A相关的图像被分配为椭圆形。反过来，椭圆形和圆形肿块指示Her-2和基底样群，以及一些与基底样相关的图像中等程度地分配给小叶类。 

5. 总结

        提出了两个版本的cGAN网络用于乳房质量分割:cGAN- autoenc和cGAN- unet。两种版本的生成网络分别与FCN和U-Net网络结构相似。实验结果证实，在公开的DDSM数据集上，对抗网络的加入显著提高了分割性能，Dice系数和Jaccard指数分别提高了6%和9%。反过来，在内部私有数据集上，这两个指标分别提高了+2%和+2%。总的来说，CRFCNN提供的测试结果更差。此外，还证明了一个相当简单的CNN架构足以从它们的二进制掩模中区分质量形状的形状相关类。未来的工作旨在通过使用大型数据集和使用鲁棒损失函数(如负对数似然和骰子损失函数)来提高所提出系统的收敛性和准确性，从而提高总体精度(72%)。