翻译：Graph CNN for Survival Analysis on Whole Slide Pathological Images

Graph CNN for Survival Analysis on Whole Slide Pathological Images

全载玻片病理图像生存分析的图形神经网络图网络应用之WSI病理图像分析——MICCAI2018

参考翻译的地址：https://www.jianshu.com/p/8cb43c9bcd28
AGCN网络的参考翻译地址：https://www.jianshu.com/p/bad6c1ec56ec

摘要: 深度神经网络通过提供高质量的特征而被用于生存预测。然而，很少有人注意到整体切片病理图像拓扑特征的重要作用(WSI)。在WSIs上学习拓扑特征需要密集的计算。此外，无线传感器网络的最优拓扑表示仍然是模糊的。此外，如何在生存预测中充分利用WSI的拓扑特征是一个有待解决的问题。因此，我们建议将WSI建模为图，然后开发具有注意力学习的图卷积神经网络(图CNN)，该网络通过呈现无线传感器网络的最优图表示来更好地服务于生存预测。在真实的肺癌和脑癌传感器上的大量实验已经证明了它的有效性。

1.介绍
生存分析通常是一组统计模型，其中输出是某个事件发生之前经过的时间。事件范围从车辆部件故障到药物不良反应。临床试验旨在评估不同的治疗方案，将生物死亡作为主要观察对象。生存概率的准确估计为临床干预提供了宝贵的信息。
Cox比例风险模型[3]在生存分析中最受欢迎。然而，经典的Cox模型及其早期追随者将患者的生存概率过度简化为协变量的线性映射。最近，Katzman等人设计了一个全连通网络(DeepSurv [9])来学习非线性生存函数。虽然已经表明神经网络优于Cox比例风险模型[4]，但它不能直接从病理图像中学习。随着卷积神经网络在普通图像、病理图像以及CT和MRI [14]上的成功，卷积神经网络已经成为训练基于DL的生存模型的理想数据源。
其中，全幻灯片图像(whole slide image, WSI)[12]是最有价值的数据格式之一，因为在病灶及其周围组织中有大量的多层次病理信息。
WSISA [21]是将存活预测移动到整个载玻片病理图像上的第一次尝试。为了在WSI上有一个有效的方法，在WSIs上进行补丁采样是不可避免的。然而，他们的DeepConvSurv模型是分别在聚类的斑块样本上训练的。因此，由于感受野被限制在对应于单个斑块(0.063mm2)的物理区域内，因此提取的特征对于WSIs而言被过度定域。患者病灶的病理切片包含的不仅仅是感兴趣的区域(如肿瘤细胞)，因此，随机斑块的表现可能与疾病不太一致。此外，已经广泛认识到病理图像上的实例的拓扑属性在医学任务中是至关重要的，例如细胞亚型分类和癌症分类。然而，WSISA既不能学习WSIs的全局拓扑表示，也不能在给定的拓扑结构上构造特征映射。
图被广泛用于表示拓扑结构。然而，将WSI建模为图形并不简单。细胞图[6]对于WSIs是不可行的，因为它有大量的细胞和许多可能的噪声节点(孤立的细胞)。中间补丁式特性是构建图形的一个很好的选择，平衡了效率和粒度。然而，将神经网络应用于图形结构数据仍然很困难。
在本文中，我们提出了一个基于图卷积神经网络(GCN)的生存分析模型(DeepGraphSurv)，其中WSI的全局拓扑特征和局部斑块特征通过谱图卷积算子自然地结合在一起。其贡献可概括为:(1)同时学习WSIs的局部和全局表示:局部面片特征通过卷积与全局拓扑结构相结合；(2)任务驱动的自适应图能更好地表现WSI；(3)引入图关注机制降低了面片采样的随机性，从而提高了模型的鲁棒性。据我们所知，DeepGraphSurv是第一个以WSIs为输入的基于GCN的生存预测模型。在癌症患者WSI数据集上的大量实验表明，我们的模型通过提供更准确的生存风险预测而优于最先进的模型。

2.方法
关于WSI的图形构造:给定一组来自WSI的采样patch图像P={Pi}，要先去掉在边界区域的只包含很少细胞的patch，因此，基数||p||不同于WSI。因此，我们为WSIs的图具有不同的大小。给定patchs作为顶点，顶点特征由在ImageNet上预先训练的VGG-16网络生成。由于缺少patch标签，无法用patch进一步微调网络。本文将在下一章介绍图CNN模型如何缓解这一缺陷。图的边是通过设定一对patch之间欧式距离的阈值来构建的（这是初始图），是用VGG16的输出压缩成128维特征计算得到，压缩是用PCA在训练集和测试集上分别单独进行的。DeepGraphSurv模型结构如图1所示。

图谱卷积理论原理：…用普通GCN有个缺陷，初始WSI图是基于patch特征建立的，VGG16特征提取器没有在WSIpatches上微调，因为缺少patch标签，因此初始图可能无法正确表示WSIpatches之间的拓扑结构。

3.实验：
至于原始数据来源，我们利用了癌症基因组图谱项目公开发布的TCGA通用癌症患者数据集的整个载玻片病理图像[8]。这项研究研究了DNA错误是什么以及如何触发33种癌症亚型的发生。我们在TCGA的两种癌症亚型上测试了我们的模型:多形性胶质母细胞瘤(GBM)和肺鳞癌(LUSC)。此外，NLST(全国肺筛查试验[10])雇用了53，454名年龄在55至74岁之间、至少有30年吸烟史的重度吸烟者作为肺癌生存分析的高危人群。我们还在由鳞状细胞癌和腺癌患者的WSIs组成的NLST数据库子集上进行了一项实验，以评估我们的模型在混合癌症亚型数据集上的性能。表1列出了实验中使用的WSI的一些定量事实。
3.2 基准实验
基线生存方法包括:LASSO-Cox模型[18]，BoostCI [17]和生存分析多任务学习模型(MTLSA) [16]。然而，它们的有效性很大程度上取决于手工制作特征的质量。此外，它们完全不是为基于WSI的生存分析设计的。为了进行公平的比较，我们首先用细胞轮廓提取器[11]提取的特征来填充这些模型，例如细胞形状和纹理，在面片图像上进行采样和平均。然后，我们向他们提供由DeepGraphSurv从同一组患者生成的WSI特征，以展示仅由微调的拓扑感知WSI特征带来的性能增益。
除了经典模型之外，我们还比较了DeepGraphSurv和基于WSI最先进的深度学习的生存模型。WSISA（21）研究的是来自WSI的集群补丁，但他们忽略了WSI上实例的拓扑关系，而这对生存分析也是非常重要的。图cnn具有对图数据进行结构化特征挖掘的能力。我们将最新的谱GCN模型（5）(在预先训练的固定图上工作)与Cox回归作为比较方法之一，以确认在GCN上添加所提出的生存特定图带来的优势。
3.3 结果与讨论
据我们所知，DeepGraphSurv是第一个使用注意力方案的生存模型。图2显示，在40个纪元之后，WSI上的高度关注区域正确地突出了医学专家注释的大多数感兴趣区域。这解释了我们在WSI发现的全球结构知识的一部分。