基于卷积神经网络的乳腺肿瘤良恶性分类方法研究

一、创新点：

1.多中心数据处理方法

2.将原始的网络模型的 sofmax 分类器替换成 SVM（主要是将softmax 分类器所用的交叉熵损失函数替换成 SVM 的 hinge loss 形式的损失函数。）

二、相关知识

1.多中心数据的处理方法

本研究采用的数据集是两个公共数据库 DDSM 和 INbreast。

生成多中心数据的原因：不同的医院使用不同品牌的机器进行检查。这些机器的型号，参数和设置是不同的，最终输出图像具有不同的文件格式，像素大小，对比度和亮度设置。

DDSM 是乳腺钼靶数字图像最大的公开数据库。DDSM 数据集的数据获取主要是由三种不同型号的钼靶扫描仪器获得，三种型号钼靶扫描仪器分别是 DBA，HOWTEK，LUMYSIS。不同的扫描仪器设置的参数不相同，比如图像的分辨率，图像的对比度，图像的大小。数据全部以.LJPEG 格式存储。图像矩阵是 3328*4084 或 2560*3328 像素，取决于采集中使用的压缩板（根据患者的乳房大小）。图像以 DICOM 格式保存。

如图 2.4 所示，图像的大小，对比度，以及存储格式都不相同，这些因素都会直接影响到最后的实验结果。

如何解决数据多中心问题？使用直方图规定化技术来解决。

直方图规定化技术可以通过一个灰度映射函数将图像的灰度映射到期望的灰度空间，灰度直方图可以改善图像的对比度，亮度，实现灰度均衡。具体见论文30页。

2.Resnet:

当更深的网络能够开始收敛时，暴露了一个退化问题：随着网络深度的增加，准确率达到饱和然后迅速下降。这种下降不是由过拟合引起的，添加更多的层会导致更高的训练误差。

 

输入是x，期望输出是H(x)。如果已经学习到较饱和的准确率，那么接下来的学习目标就转变为恒等映射的学习，也就是使输入 x 近似于输出 H(x)，以保持在后面的层次中不会造成精度下降。

在上面的残差网络结构图中，通过 “shortcut connections” 的方式，直接把输入 x 传到输出作为初始结果，输出结果为 H(x) = F(x) + x，当 F(x) =0 时，那么 H(x) = x， 也就是上面提到的恒等映射。

于是 ResNet 相当于将学习目标改变了，不再是学习一个完整的输出，而是目标值 H(x) 和 x 的差值，也就是所谓的残差 F(x) = H(x) - x，因此，后面的训练目标就是将残差结果逼近于0，使得随着网络层数加深，准确率不下降。

因为经过 “shortcut connections”后,H(x) = F(x) + x， 如果 F(x) 和 x 的通道数相同，则可直接相加，如果通道数不同时，则不能直接相加。

通道数相同，计算方式H(x) = F(x) +x

通道数不同，计算方式H(x) = F(x) + Wx，其中 W 是卷积操作，用来调整维度的。

原始的 ResNet-50 模型分成了三个部分：输入部分记作 Input stem，4 个残差模块的累计集合记作 stage 和一个输出部分记作Output。Stage 结构包含有一个下采样操作和若干个瓶颈结构，不同的 stage 包含的瓶颈结构个数是不同的.

3.ResNet的常见改进（论文35页）

改进一：改进downsample部分，减少信息流失。每个stage的第一个conv都有下采样的步骤，我们看左边第一张图左侧的通路，input数据进入后在会经历一个stride=2的1*1卷积，将特征图尺寸减小为原先的一半，请注意1x1卷积和stride=2会导致输入特征图3/4的信息不被利用，因此ResNet-B的改进就是就是将下采样移到后面的3x3卷积里面去做，避免了信息的大量流失。ResNet-D则是在ResNet-B的基础上将identity部分的下采样交给avgpool去做，避免出现1x1卷积和stride同时出现造成信息流失。ResNet-C则是另一种思路，将ResNet输入部分的7x7大卷积核换成3个3x3卷积核，可以有效减小计算量，这种做法最早出现在Inception-v2中。

详细介绍见链接https://blog.csdn.net/JACK_YOUNG007/article/details/89344712

改进二：ResNet V2。这是由ResNet原班人马打造的，主要是对ResNet部分组件的顺序进行了调整。各种魔改中常见的预激活ResNet就是出自这里。

原始的resnet是上图中的a的模式，我们可以看到相加后需要进入ReLU做一个非线性激活，这里一个改进就是砍掉了这个非线性激活，不难理解，如果将ReLU放在原先的位置，那么残差块输出永远是非负的，这制约了模型的表达能力，因此我们需要做一些调整，我们将这个ReLU移入了残差块内部，也就是图e的模式。这里的细节比较多，建议直接阅读原文：Identity Mappings in Deep Residual Networks ，就先介绍这么多。

三、本文的研究：

1.数据集：公开数据集DDSM 和 INbreast。

DDSM:包含大约 2620 项研究。每项研究除了包含四张钼靶图像和病变的位置信息还包含一些患者的个人信息以及一些图像信息（如扫描的机器型号，空间分辨率等）等，还提供了用于访问乳房 X 线照片和真实图像以及用于计算自动图像分析算法的性能数据的软件。它包含有经过病理验证的正常，良性和恶性病例。DDSM 数据库包含由三种类型的扫描设备扫描的数据。数据库中包含的数据像素具有不同的分辨率，像素宽度为 12 位和 16 位。

每幅图像的大小并不完全相同。DDSM 数据库提供有关位置，形状，边缘以及良性和恶性病变的信息。

INbreast： 共有 115 例（410 张图像），其中 90 例来自乳房受影响的女性（每例 4 张），25 例来自乳房切除术患者（每例 2 张）。包括几种类型的病变（肿块，钙化，不对称和扭曲）。

2.预处理

2.1数据增强：

对图像进行水平翻转，放大，缩小等一系列数据增强的手段来增大数据集。

2.2多中心化数据处理

首先，对两个不同的数据集进行格式上的统一，将 DDSM 数据集中 LJPEG 格式转化为通用格式 PNG 或 JPEG。

本文使用的是曼彻斯特大学 Dr. Chris Rose 教授写的一个完整的程序，在他程序原有的基础上进行修改，将图像的 LJPEG 格式转换成 PNG 格式。我们可以直接使用 MATLAB  直接将 DICOM 格式的文件转化为 PNG 格式。

然后，选择规范的直方图参考对象。

在本研究中，我们要求两位有经验的放射科医师选择四张他们认为相对标准钼靶图像包括有两张头尾位和两张斜侧位的图片，如下图 4.1。

2.3阈值分割

Why: 钼靶图像的三分之二面积都是背景，只有三分之一的面积含有乳腺组织，如果直接使用这样的图像作为网络的输入图像，肿瘤区域会在训练过程中被忽视一些重要的细节，致使网络模型对肿瘤区域提取特征不充分，直接影响到实验结果，而且图像冗余部分太多，会使模型更加复杂，所需要的训练时间更长。

原理：乳腺区域的亮度要明显高于背景区域，阈值分割技术可以利用这一特性，将钼靶数据进行分割。

Otsu 算法（大津法或最大类间方差法）将图像根据灰度值分为前景和背景两个部分，使这两部分的之前的灰度值差异越大越好，相同部分的灰度值差异越小越好，通过方差计算出一个最合适的灰度级别来进行划分。Ostu 算法计算复杂度低，且具有稳定性，不受图像的亮度和对比度等因素的干扰，因此在进行二值化图像分割时，通长都会选择 Ostu 算法而钼靶图像的背景是全黑的，只有乳房组织的部分灰度值比较大，是非常适合使用阈值分割法的。分割的结果如图 4.3 所示：

结果：这样可以大大减少图像的尺寸，图像由以前的 5000*4000 变成 1000*800，图像缩小了将近 5 倍。

3.模型：深度残差网络

3.1选择原因：

a.可以很好的避免最佳网络层数的寻找过程

b.在图像分类方面取得了优异的成绩。

3.2模型：

ResNet-50和基于 ResNet-50 模型调整的 ResNet-B，ResNet-C和 ResNet-D。

最后再将原始的网络模型的 sofmax 分类器替换成 SVM（主要是将 softmax

分类器所用的交叉熵损失函数替换成 SVM 的 hinge loss 形式的损失函数。）

原始的 SVM 的损失：

原始的 hinge loss 损失函数:

SVM 的 hinge loss 形式的损失：

3.3 训练：

1. 为了验证模型的三处改进是否对实验结果有效，用 ResNet-B，ResNet-C，ResNet-D与原始的 ResNet-50 做对比试验，来判断本研究对残差网络三处改进是否具有现实意义。

2. 为了验证将模型最后一层全连接层后的 softmax 分类器替换成 SVM 分类器对实验结果是否有提升作用，将 ResNet-50，ResNet-B 和ResNet-D 与ResNet-50-SVM，

ResNet-B-SVM，ResNet-D-SVM做比对实验，来判断最后一层的使用 SVM 分类器是否效果更好。

3. 为验证迁移学习的有效性，使 ResNet-50，ResNet-B 和 ResNet-D 三个模型分别在随机参数初始化和 ImageNet 数据集参数初始化的两种条件下，来观察实验结果，根据结果来判断迁移学习是否对本实验有促进作用。

4. 训练集，验证集，测试集:    4/5   1/10   1/10

5. batch = 4，优化器选择=Adam 方法

6. 评价指标:准确度，F1 分数，敏感度，特异度,并给出是三组对比试验的混淆矩阵和四维雷达点线图.

敏感度（Sensitivity）所有正样本中被正确分类的比例，用来衡量模型对正样本的识别度。

特异度（Specificity）所有的负样本中被正确分类的比例，用来衡量模型对负样本的识别度.

F1 分数（F1  Score），是统计学中用来衡量二分类模型精确度的一种指标。同时结合了敏感度和特异度两种指标,可以看作是精确度和敏感度的加权平均的结果.

3.4 结果

第一组： 随机初始化网络参数  ：VGG16，InceptionV2，ResNet-50，ResNet-B，ResNet-

第二组： ImageNet 数据集参数初始化ResNet-50，ResNet-B，ResNet-D，然后利用乳腺 X 线图像进行微调网络。

四维雷达点线图

四、讨论

1. 本文在对乳腺钼靶图像分析研究中，都是将每张钼靶图像作为一个独立的研究对象，但实际情况是每个人的每次检查都包含有四张图像，本研究没有将同次检查的同侧图像和同次检查的不同侧图像的情况相结合起来作为判断的依据，而医生在判断的时候是将四张图像结合到一起来下诊断。因此下一步目标可对乳腺钼靶图像进行多视角融合研究将四张图像都结合起来判断一个钼靶检查的结果。

2. 本文针对采集的乳腺钼靶 X 线图像数据集不足，通过自然图像数据ImageNet 进行预训练，在本文实验模型初始化的时候使用自然图像预训练的模型参数进行初始化，然后在本实验的数据上进行微调，但由于自然图像与乳腺钼靶图像之间差异较大，相似特征较少，只能进行简单的表层特征迁移。下一步将引入二次迁移的理念，首先在 ImageNet 数据集上先进行迁移学习，然后在DDSM 公开数据集上进行迁移学习，将两次迁移学习得到的参数保持，在采集到的乳腺钼靶图像数据集上进行微调，从而进一步提高实验结果。

3. 前乳腺钼靶图像分析领域中已有的研究工作，缺乏统一的数据集和统一的评价指标，同一种方法在不同的的数据集表现的性能也不一样，不用的评价指标在评价实验方法的侧重点也不一样。下一步工作我们也应该规范化数据集，规范化性能评价指标，建立相对规范的数据集和方法的评价指标体系。