论文总结——【医学影像】Classifcation and mutation prediction from histopathology images using deep learning

这是2018年10月发表在Nature上的一篇论文，论文中提到将深度学习卷积神经网络用于肺癌的分类和突变预测。
这几天按导师要求看了这篇论文，这里总结一下，防忘。
详细内容参考：Classifcation and mutation prediction from non-small cell lung cancer histopathology images using deep learning
论文链接：https://pan.baidu.com/s/12Fm1tv-zBf9spSHBBGxiXw
提取码：qo9y

摘要

组织病理学切片的视觉检视（Visual inspection）是病理学家判断癌症阶段、类型、肺癌子类型的重要手段之一。Adonocarcinoma（LUAD）和Squamous cell carcinoma（LUSC）是两类最流行的肺癌子类型，它们的辨别需要有经验的病理学家的视觉检视。在这篇论文中，作者团队将深度卷积网络（inception v3）应用于肺癌类型（LUAD、LUSC及Normal三类）的精确自动分类，并取得了与病理学家同等的评价。论文中的模型在多个独立的数据集上被验证。更进一步，他们训练了一个网络用于预测在LUAD切片中最常见的十类基因突变类型，最终发现其中有六类（STK11, EGFR, FAT1, SETBP1, KRAS and TP53）都可以通过病理图像预测。这个发现暗示了深度学习模型可以被用于在检测癌症类型和基因突变类型的过程中辅助病理学家。

研究背景

美国癌症协会和癌症统计中心（American Cancer Society and the Cancer Statistics Center）的数据表明，每年有超过150,000个病人死于肺癌，200,000个新诊病例。肺癌已经是全世界最流行的癌症之一了。LUAD和LUSA是非小细胞-肺癌（non-small cell lung cancer）中最流行的两类，它们有其各自的治疗指导方案（treatment guideline）。在缺少明确的组织学特征的情况下，LUAD和LUSC的区分是一个很耗时且具有挑战性的任务，并需要额外的辅助信息（immunohistochemical stains）。

发现问题

由于突变类型很大程度上影响癌症的治疗过程，癌症子类型和突变类型的分类在癌症治疗中占很重要的地位。全切片经过扫描仪成像后过大，往往接近100,000 * 100,000像素，导致仅通过人眼去检查常常是一件很困难的事情。
在这之前已经有研究团队将机器学习方法（如：SVM及随机森林）和基础深度学习方法用于癌症类别的分类，但还没有人将CNNs应用到肺癌组织病理学分析中。

方法流程（Pipeline）

作者团队按照下面的Pipeline训练了两类模型：①全切片LUAD、LUSC、Normal三分类器；②在①模型预测的LUAD区域中，预测常见基因突变类型（实际上是多标签分类问题，最终一个tile上可能有多个突变类型预测）；
以上两类模型的输入均仅为全切片。

从流程图上来看，与普通的图像分类没有太大差异，主要的区别是：为了针对全切片很大的问题，在划分数据集后，训练之前，需要将全切片（slide）划分成小的tile，得到预测结果后再将结果聚合起来。

论文中提到的划分方案是在20X和5X的倍率下（两个倍率应用在两次不同的实验中，最终发现5X的效果更好），将切片划分成无重叠的512*512的tile，也就是size=512，stride=512的滑窗划分。

最终结果的聚合，论文中也提到了两种方法：

1. 取切片中每一个tile中的类别预测概率的平均值作为slide的预测概率
2. 取每一类预测结果占总体的百分比作为slide的预测结果

结果

① LUAD、LUSC、Normal三分类器
取得了AUC ≥ 0.968的表现；比较三名病理学家独立地仅使用视觉检查的方法分类测试集的分类结果，取得了与病理学家同等（comparable）的表现；
最终为了验证深度学习模型的泛化能力，作者团队将模型验证在三类不同的切片数据集中，包括活检（biopsies）切片、福尔马林固定的石蜡包埋组织（formalin-flxed paraffin-embedded tissues，FFPE）切片和冷冻（frozen sections）切片。
② 突变类型分类模型
实验结果如下图：可以发现十类中有六类都取得了较高AUC，意味着至少可以从组织病理切片的角度预测基因突变状态。

结果分析

这一部分在原论文中有大量篇幅（包括CV角度和病理角度），我这次总结的主要目标的理清主要流程，故这一部分略过。

贡献

提供了一个深度学习方案用于从组织病理学全切片中快速、低成本（相比人工检测）地预测肺癌子类型和基因突变类型，考虑到这些信息是肺癌治疗的关键信息，有很大实用意义。
同时展示了可以通过病理切片预测肺癌基因突变类型（至少EGFR, STK11, FAT1, SETBP1, KRAS和TP53明确可以）。