用逐步微调深度神经网络进行胃部病理图像分类

这几年，深度神经网络在医学图像方面得到了很好的应用，但是由于医学图像的专业性，一直没得到广泛的实际应用。首先，医学图像由于隐私性，用于深度神经网络的数据不可能有很多，另外医学图像专业性强，标注成本高。为了解决这些问题，本文提出了用逐步微调深度神经网络进行胃部病理图像分类的方法。

英文原文和我翻译的中文可在这里下载。
https://github.com/lincguo/medical-image-segmentation

一、早期病理图像分类方法主要有两类：

• 基于特定的组织特征
  特定的组织相关特征，如细胞核的面积和核质比（N/C），能够从未知图像中精确地计算出来。很难对形态学特征作出充分的定义，因为癌细胞通常缺乏对正常分裂的控制。所以提取细胞形状失败可能成为分类失败的直接原因。
• 基于广义纹理特征
  广义纹理特征作为一种常用的方法，以往的许多研究都充分利用了广义纹理特征，证明了它们对不同任务的处理能力。但是在研究和实际应用之间仍然存在一些难以解决的问题。图像间H&E染色不均匀会对分类性能产生不利影响，使任务更具挑战性。
  广义纹理特征对各种癌变现象保持了更强的鲁棒性。

二、深度学习在病理图像的应用

优势

• 更精确的分类和分割；
• 染色归一化、评估肿瘤扩散程度、医学图像与诊断报告之间的综合多模态映射等。

主要问题

• 缺乏足够的病理图像数据；
• 标注成本高，医生知识和协作的必要性；
• 更复杂的外观；
• 深度神经网络迁移学习。

主要问题就是缺乏足够用于训练深度神经网络的病理图像数据；缺乏准确的标注，专业病理医生标注成本高，医生知识和协作的必要性；从人类的感知来看，病理图像通常比自然图像（包括预训练的数据集中）具有更复杂的外观，由于H&E染色后颜色比较均匀，很难直观地分辨良恶性图像之间的差异；

使用深度神经网络迁移学习，在某种程度上可以提高性能和减少训练数据的不足影响。由于预训练的图像数据集具有固定的内容类别和图像大小，对于特定的图像分类领域中遇到的问题，数据集和深度神经网络的系数效率一般都是次优的。但在许多情况下，从预训练的任务中获得的知识与不同的指定目标领域之间仍然存在差距。

三、基于逐步微调的胃部病理图像分类深度学习方案

• 先决条件：深度神经网络模仿病理医生的感知方式，提前获得病理相关知识，但在数据标注上花的额外成本非常少；
• 对CNNs采用两级微调方法，介绍了一种新型目标相关的中间数据集（以下称“中级”数据集）。

“中级”数据集

• “低级”数据集：大规模预训练数据集，数量庞大但目标特异性较低；
• “高级”数据集：标注良好的病理数据集，与目标任务直接相关；
• “中级”数据集：基于病理图像领域中的组织和细胞信息生成的。

所谓“中级”数据集就是大规模预训练数据集与病理数据集之间的中间过渡集。

“中级”数据集又分为两种：

组织“中级”数据集：

由于上皮细胞与基质之间的肿瘤转移被认为是癌症进展过程中不可避免的，所以这两种类型的组织通常都是在活检检查中提取出来，并在病理图像中显示出来。我们发现描述它们之间视觉上差异是一项相当简单的工作。

• 包括背景、上皮和基质的类别，可以基于病理知识进行半专业标注，只花很少的工作量；

• 上皮组织明显表现为有组织的排列，而基质组织则表现为分散无序。

  
  如上图，上面虚线包围的就是上皮细胞，下面的就是基质细胞。

细胞“中级”数据集：

用如下方法实现细胞“中级”数据集的全自动产生。

• 对H&E染色病理图像进行去卷积，分离为H和E两种成分；
• 自动局部阈值算法对H（苏木精）通道进行二值化；
• 采用分水岭算法分离连结或部分重叠的细胞核；
• 轮廓检测方法，从每张病理图像中获取一个总面积和核数的二维向量；
• K均值聚类分成两类。
• 细胞核测量和聚类实现了细胞“中级”数据集的全自动产生；
  
  如上图，先对H&E原始图进行反卷积分离成H和E染色部分，由于H部分有丰富的细胞核信息，于是对H部分进行二值化，采用分水岭算法分离连结或部分重叠的细胞核，采用轮廓检测方法，从每张病理图像中获取一个总面积和核数的二维向量，最后用K均值聚类分成两类。与组织数据集相比，自动生成的数据集更侧重细胞特征。

四、两级逐步微调结构

在训练进度t=0开始时，我们有一个预训练网络作为初始化。
t=1是微调我们提出的“中级”数据集网络。在这一步之后，深度神经网络被认为具有更多的病理相关权重。
最后，使用标注良好的良/恶性图像进行二次微调（t=2）。
在图的下半部分，与训练步骤t=0、t=1、t=2相对应，CNN模型中颜色较深的蓝色节点表示病理图像分类任务更具体（更深）的表示。
当输出类的数量发生变化时，网络结构需要相应地进行调整。

五、实验

实验采用三种数据集，这篇论文使用了“低级”、“中级”和“高级”三种数据类型（图1）分别用于初始化、一级微调和两级微调。在实践中，ImageNet数据通常用于初始化CNN模型，其中包含1000个不同类别的大约120万张图像。至于胃癌病理学图像中，所有使用的数据集如下表所示。

通过绘制上皮细胞核基质的图谱，我们成功地收集了48000个组织块（256x256），这些块被分为“背景”、“上皮”和“基质”类别（图4）。每个类别中使用15000个块作为训练数据，其余1000个块用于验证。从该数据集中，我们进一步得到了符合细胞核测量的细胞数据集。该细胞数据集由7672个块和6457个块组成，分为两个簇（图5），剔除了细胞核过少或由于染色不均匀不易提取的块。

实验中，每个簇90%的块用来训练，其余的用于验证。如图5所示，根据粗略的观察，左边的簇似乎有更大更少的核，而右边的簇似乎相反，有更多更小的核。对于良好标注的“高级”数据集，为了评估提出的两级方案的有效性和泛化性，我们准备了两种不同大小的标注良好的数据集。一个是包含540个良性和540个恶性块的小训练数据集。另一个是包含包含该小数据集，有5400个良性和5400个恶性块的非增广数据集。除了之前的数据集，我们还使用了一个包括1620个良和1620恶性块验证数据集，用来选择最好的配置，以及一个包括2700个良和2700个恶性块测试数据集，用来最终评估每个情况下的性能。

实验结果：

使用组织数据集逐步微调

无论是假阳性率轴还是真阳性率轴，我们提出的方案都具有压倒性的区域

训练数据越大，AUC绝对值越大。然而，如果我们对数据大小横向对比，可以看出，当我们对小数据集使用两级微调方案，性能已经接近于当只使用一级微调对十倍于小数据集的大数据集的水平。

由此可以推断：

• 组织信息的引入确实有助于加深神经网络对病理图像的“理解”；
• 当好的标注数据集有限时，但“非专业”标注在某种程度上可行时，两级微调方案可以用来增强性能。

使用细胞数据集逐步微调

可以推断出：

• 通过两级微调方案，当前最流行的深度神经网络的性能都能达到相当于通过单级微调一个更大的好的标注的数据集的水平；
• 成功地提高了用于各种情况下胃癌图像分类的预训练神经网络的性能。

因此，综上所述，所有这些结果都证明了基于组织或细胞数据集的逐步微调方法，成功地提高了用于各种情况下胃癌图像分类的预训练神经网络的性能。

六、结论

本文针对病理图像分类训练数据标注不足的问题，提出了一种新的逐步微调方案和一种低成本的目标相关的中级数据，利用这些中间数据，深度神经网络可以根据病理医生的感知方式获取基本的病理知识。针对不同数据生产能力的需求，提出了两种实用的中间数据构建方法。这两种方法都不需要病理医生额外的工作量。在实验中，我们提出的方案针对不同的标注良好的病理图像数据，提高分类性能都发挥了足够的效能，并且对于不同的先进的CNN架构具有较高的应用能力。