应用卷积神经网络对乳腺癌组织病理图像进行分类

在这里给大家分享一篇关于用深度学习进行乳腺癌识别的论文（原文地址），翻译成了中文以便大家快速学习，中间难免有疏忽遗漏的地方，请大家谅解。

深度医疗(2) -乳腺癌诊断识别

1. 介绍

癌症是世界上一个巨大的公共卫生问题。根据世界卫生组织（世卫组织）的一部分，国际癌症研究机构（IARC）的数据，2012年有820万人死于癌症，预计到2030年将有2700万新的癌症病例发生。在癌症类型中，乳腺癌（BC）是女性第二常见的癌症（皮肤癌除外）。此外，与其他类型的癌症相比，BC的死亡率非常高。即使面对对BC进展的分子生物学的理解和新的相关分子标记的发现方面的最新进展，组织病理学分析仍然是BC诊断最广泛使用的方法。尽管诊断成像技术取得了重大进展，但病理学家还是通过在显微镜下对组织学样本进行目视检查，从而进行最终的BC诊断（包括分级和分期）。

图像处理和机器学习技术的最新进展可通过计算机进行辅助检测/诊断（CAD/CADX）系统，以帮助病理学家从客观性和一致性上提高诊断的效率。组织病理学图像分类包含不同的组织病理学模式，与被分析组织的非癌或癌状态相对应，癌症自动辅助诊断是图像分析系统的首要目标。这类系统的主要挑战是处理组织病理学图像固有的复杂性。

癌症诊断的自动成像处理作为一个研究课题已经探索了40多年，但由于要分析的图像的复杂性，仍然具有挑战性。例如，Kowal等人比较和测试不同的核分割算法，这些算法在500张图像的数据集上将病例分为良性或恶性，最终的精确度范围从96%到100%。Filipczuk等人提出了一种基于细针活检细胞学图像分析的BC诊断系统，以区分良恶性。使用四种不同的分类器，用25维特征向量训练，他们在737张图像上达到了98%的性能。George等人提出了一种基于细胞学图像核分割的BC诊断系统。使用不同的机器学习模型，如神经网络和支持向量机，他们在92幅图像的数据集的准确率从76%到94%。另外还有提出带拒绝选项的级联方法。在级联的第一级中，作者希望解决容易的情况，而硬的情况则发送到第二级，在第二级中使用更复杂的模式分类系统。他们在以色列理工学院（Israel Institute of Technology）提出的数据库上评估了所提议的方法，该数据库由361张图像，达到97%的可靠性结果。

最近大多数与BC分类相关的工作都集中在整体滑动成像（WSI）上。然而，广泛采用WSI和其他形式的数字病理学仍然面临着一些障碍，如实施和操作该技术的成本高、大量临床程序的生产力不足、与技术相关的固有问题、未解决的监管问题以及病理学家的“文化阻力”。

大多数关于BC组织病理学图像分析的工作都是在小型数据集上进行的，而这些数据集通常是科学界无法获得的。为了缓解这种差距，斯潘诺尔等人介绍了一个由对82名患者采集的7909个乳腺组织病理学图像组成的数据集。在同一项研究中，作者评估了六种不同的纹理描述符和不同的分类器，并报告了一系列实验，根据图像放大系数的不同，准确率在80%到85%之间。不可否认的是，纹理描述符可以为训练分类器提供良好的表现。然而，一些研究人员主张，当前机器学习方法的主要弱点恰恰在于这一特征工程步骤。对他们来说，机器学习算法应该通过能够从数据中提取和组织识别信息来减少对特征工程的依赖，换句话说，应该能够表示学习。

表示学习的概念并不新鲜，但由于图形处理单元（GPU）的出现和普及，它最近才作为一种可行的替代方案出现，后者能够以相对较低的成本提供较高的计算吞吐量，这是通过其大规模并行架构实现的。在不同的方法中，卷积神经网络（CNN）在不同的模式识别问题中得到了广泛的应用，以获得最先进的结果。在纹理分类的情况下，没有不同。Hafemann等人已经表明，对于微观和宏观纹理的图像，CNN能够超越传统的纹理描述符。此外，传统的病理图像分类任务特征提取方法需要大量的努力和有效的专家领域知识，经常导致高度定制的解决方案，针对这个问题，在其他情况下几乎不适用。

在此基础上，我们对BC组织病理图像分类问题进行了深入的研究。除了评估不同的CNN架构外，我们还研究了不同的处理高分辨率纹理图像的方法，而不改变用于低分辨率图像的CNN架构。对提出的Breakhis数据集进行的一系列综合实验表明，CNN比能获得的最佳结果还能获得更好的结果。同时，通过使用简单的融合规则（如max、product和sum）组合不同的CNN，可以获得更好的性能。

本文第二部分简要介绍了breakhis数据库。第三节简要介绍了使用CNN进行深入学习。第四节描述了我们实验中使用的CNN的架构。第五节报告我们的实验并讨论我们的结果。最后，第六部分总结了本文的工作，为进一步的研究提供了一些见解。

2. BREAKHISDATABASE

Breakhis数据库包含良性和恶性乳腺肿瘤的显微活检图像。通过2014年1月至2014年12月的临床研究收集图像。在这段时间内，临床症状为BC所有患者都被邀请到巴西P&D实验室参与研究。机构审查委员会批准了这项研究，所有患者都给予了书面知情同意。所有的数据都是匿名的。

样本来自乳腺组织活检幻灯片，用苏木精和伊红（HE）染色。样本通过外科（开放式）活检（SOB）采集，能用于组织学研究，并由P&D实验室的病理学家标记。本工作中使用的制备程序是标准石蜡工艺，广泛应用于临床常规。主要目的是保存原始组织结构和分子组成，以便在光学显微镜下观察。完整的制备程序包括固定、脱水、清除、渗透、嵌入和修剪等步骤。为了安装在载玻片上，使用切片机切割约3微米的部分。染色后，用玻璃盖玻片覆盖各部分。然后解剖病理学家通过显微镜下组织切片的视觉分析来识别每张载玻片中的肿瘤区域。每个病例的最终诊断由经验丰富的病理学家作出，并通过免疫组化（IHC）分析等补充检查予以确认。

采用奥林巴斯BX-50系统显微镜，将放大倍率为3.3倍的中继透镜与三星数码彩色相机SCC-131AN耦合，从乳腺组织切片中获取数字化图像。图像是在3通道RGB（红-绿-蓝）真彩（24位色深，每个色通道8位）色空间中使用放大系数40X，100 X，200 X，400 X获得的，对应于物镜4 X，10 X，20 X，40 X。

图1显示了从含有恶性肿瘤（乳腺癌）的乳腺组织的单张载玻片上获取的四张图像，放大倍数分别为（a）40倍，（b）100倍，（c）200倍和（d）400倍。突出显示的矩形（仅为说明目的而手动添加）是病理学家选择的感兴趣的区域，将在下一个更高的放大倍率中详细说明。迄今为止，该数据库由7909张图像组成，分为良性和恶性肿瘤。表一总结了图像分布。

3. CNN用深度学习方法

基于视觉内容的图像分类，尤其是组织病理切片的显微图像，是一项具有挑战性的任务，面临着诸如通常大量的层间变异、结构形态多样性导致的丰富的几何结构和复杂的纹理等问题。图2显示了组织病理学图像中的典型复杂纹理。深度学习探索了直接从输入数据中学习功能的可能性，避免了手工制作的功能。深入学习的关键概念是发现多个层次的表示，目的是更高层次的特征表示更抽象的数据语义。卷积神经网络作为一种特殊的深度学习技术，在图像分类问题上取得了成功，包括医学图像分析。总之，CNN由堆叠在一起的多个可训练层级组成，随后是一个监督分类器，一组名为特征映射的数组表示每个阶段的输入和输出。输入可以是图像、音频和视频等信号。例如，考虑到彩色图像，在输入端，每个特征映射都是一个二维数组，存储输入图像的颜色通道。输出由一个集合数组组成，其中每个特征映射表示在相关输入位置提取的特定特征。

一个深网是通过输入信息并让它一层一层地计算，以生成最终的输出结果，与正确的答案进行比较来训练的。在计算输出的错误之后，这个错误通过反向传播向后流过网络。在每后退一步时，模型参数都会调整到一个试图减少误差的方向。这个过程会扫过改进模型的数据。通常情况下，training是一个迭代过程，需要多次传递输入数据，直到模型收敛。

用于构建CNN体系结构的层主要有三种类型：卷积层、池层和全连接层。通常，一个完整的CNN体系结构是通过堆叠其中的几个层获得的。图3显示了典型的CNN体系结构的一个例子，它有两个特征阶段。

在CNN中，关键的计算是特征检测器与输入信号的卷积。卷积层计算连接到输入中局部区域的神经元的输出，每个神经元计算其权重和输入体积中连接的区域之间的点积。与输入卷积的权值集称为滤波器或内核。每个过滤器在空间上都很小（宽度和高度），但会延伸到输入卷的整个深度。对于图像等输入，典型的滤波器是小区域（例如，3×3、5×5或8×8），每个神经元只连接到前一层的这个区域。权重在神经元之间共享，从而引导过滤器学习图像任何部分中出现的频繁模式。过滤器应用之间的距离称为跨距。是否跨步超参数小于滤波器大小，卷积应用于重叠窗口。

像图6中的学习过滤器（也称为功能图或激活图）一样，对一组过滤器进行卷积可以改进表示：在CNN的第一层，功能从单个像素变成简单的原语，如水平和垂直的线、圆和颜色块。与传统的单通道图像处理过滤器不同，这些CNN过滤器是通过所有输入通道计算的。由于其平移不变性，卷积滤波器在任何检测到特征的地方都会产生高响应。

通常在两个连续的卷积层之间插入池（子采样）层。这一实践的主要目的是逐步减少空间大小的表示。因此，减少网络所需的参数和计算的数量有助于在过度装配控制中。池化层在空间上对卷进行采样，独立于输入卷的每个深度切片。因此，pool操作符会沿宽度和高度调整输入的大小，从而放弃激活。在实践中，将窗口函数应用于输入补丁并计算该邻域中的最大值的max pooling函数得到了更好的结果。但是，池化单元可以执行其他功能，如归一化或平均池。

在一个全连接的层中，神经元与前一层中的所有激活都有完全连接，它们的激活可以通过矩阵乘法和偏差偏移来计算。这种类型的层在常规神经网络中是标准的。最后一个全连接的层保持净输出，它是一个概率分布。

4. 运用目前存在的深度神经网络架构

为了从breakhis数据集中对图像进行分类，我们评估了一些以前存在的深度神经网络结构。我们从Lenet开始，它属于CNN的一种，擅长数字分类任务。然而，在所评估的组织病理学图像上，Lenet分类性能明显低于我们文章开头提到的分类性能结果，达到约72%的准确性。因此，我们选择了一个更为复杂的模型，专门设计用于对彩色图像进行分类。在一些测试中，表现出最佳性能的模型是基于Alexnet的变体。Alex Krizevsky提出了最初的Alexnet，以准确地分类来自CIFAR-10 1的图像，该数据集由10个相互排斥的类（卡车类、飞机类、猫类、狗类、鸟类等）中的60000个32×32彩色图像（50000个用于训练，10000个用于测试）组成，每类6000个图像。该体系结构由多层卷积、汇集、校正线性单元（relu）非线性和局部对比度归一化（在其上使用线性分类器）组成，如图4所示。

本文提出的方法旨在处理组织病理学BC分类中常用的高分辨率图像。将现有的深度神经网络模型用于更大的图像可能会导致更复杂的体系结构，具有更大的参数集（越来越大的层），从而大大增加模型的复杂性。因此，微调和培训架构参数所需的时间可能会变得非常长。为了解决这个问题，本文提出的方法是基于随机抽取的用于训练的补丁，以及用于识别的这些补丁的组合。

为了了解前一节中描述的CNN参数，只使用图像的小补丁进行培训。主要的想法是从高分辨率图像补丁中提取尺寸接近于CIFAR数据集的补丁。既然我们要处理纹理，主要前提是
这些补丁可以包含足够的信息来训练模型，前提是从每个图像中提取一组合适的补丁。

基于Hafemann等人报告的结果。通过减小图像的维数来获得最佳效果，在这项工作中，原始的700×460图像被减少到350×230，使用像素面积关系重新采样。之后，我们用两个不同的策略。在第一个例子中，我们使用了一个50%重叠的滑动窗口，而在第二个例子中，补丁是随机抽取的，补丁之间没有重叠控制。此外，根据报告的结果，我们评估了两种不同的图像补丁大小（32×32和64×64）。图5显示了调整大小的图像以及32×32图像补丁

在实践中，该方法将翻译不变性引入（a）（b）图5。（a）放大40倍获得的乳腺恶性肿瘤和（b）32×32贴片图像。该模型起到了规范化的作用，防止了模型对训练集的过度拟合。滑动窗口策略允许32×32和32×32的补丁之间50%的重叠，从而分别产生260和54个图像补丁。另一方面，考虑到随机抽取策略，对于两个补丁大小，我们已经固定了从每个输入图像中抽取任意数量的1000个补丁。表3总结了我们在工作中评估的补丁程序图像策略。

这里使用监督型的训练模式，在实际的语音和图像识别系统中很常见。在监督模式下，随机梯度下降（SGD）方法与反向传播法（用于计算梯度）和最小批量大小为1，用于更新网络参数，从10-6的学习率开始，结合0.9的动量项和4-5的权重衰减。CNN接受了8万次重复训练。

以提取的斑块作为输入对模型进行训练。然而，所采用的架构假定一个标准的预处理来降低输入图像的亮度（为了亮度标准化），要么减去确定的平均图像，要么减去每个通道的平均像素值。因此，我们用放大因子计算了所有提取斑块的平均图像。最后，我们从每个输入补丁中减去这个平均图像，然后再将其输入CNN。

由于模型是在图像的补丁上训练的，所以我们需要一种策略，将原始测试图像分割成补丁，运行它们通过模型并结合结果。通过从图像中提取所有可能的补丁，可以获得最佳结果，但这一点计算量太大。相反，我们选择提取图像的网格补丁，即所有不重叠的补丁集，这在实践中证明了分类性能和计算成本之间的合理平衡。

运行模型时，每个补丁输出给定补丁图像的每个可能类的概率。为了结合给定测试图像的所有补丁的结果，我们测试了三种不同的融合规则，并获得了最佳结果。换句话说，对一个给定的测试图像的预测是一个类，它最大化了图像所有补丁的概率之和。

5. 实验结果

Breakhis数据集分为训练集（70%）和测试集（30%）两组。为了保证分类器对未知患者的通用性，对数据集进行了拆分，以便用于构建训练集的患者不用于测试集。这项研究的结果是五次试验的平均值。该协议独立应用于四种可用放大倍数中的每一种。在讨论医学图像时，有两种方法可以报告结果。在第一种情况下，决策是基于患者的，因此，识别率是在患者级别计算的。设n p为患者p的癌症图像数。对于每个患者，如果n rec癌症图像被正确分类，可以将患者评分定义为：

在第二种情况下，识别率是在图像级别计算的（即不考虑患者信息），因此提供了一种方法来单独估计CNN模型的图像分类精度。让n都是测试集的癌症图像数。如果系统正确分类n个rec癌症图像，则图像级别的识别率为：

识别精度