论文(六)：Beyond Classification: Whole Slide Tissue Histopathology Analysis By End-To-End Part Learning

*Beyond Classification: Whole Slide Tissue Histopathology Analysis By End-To-End Part Learning --PMIR(2020)*

超越分类:端到端局部学习的全切片组织病理分析

Abstract

**背景：**WSIs是一种分辨率极高的千像素图像，由于计算成本巨大，卷积神经网络(CNN)无法直接进行处理。

**方法:**每个WSI被建模为由K组具有相似特征的pathes组成,定义为部分。关于包标签的损失通过集成的CNN模型反向传播到K个用于表示每个部分的输入pathes。

**结果:**可以进行有效的预测。可以进行多标签分类。除了分类之外，还提供了丰富的切片信息，为高质量的临床决策提供支持。

Method

3.1. Two-Stage Methods For WSI Classification

​ 由于WSI太大，CNN端到端无法训练，两阶段方法：

​ 第一阶段提取特征e，X -> Z。将幻灯片压缩为低维空间中的潜在变量。

​ 第二阶段优化聚合模型a，Z -> Y来预测幻灯片标签。

3.2. WSI Analysis by End-To-End Part Learning

​ 理想上，WSI的预测应该通过所有的pathes来进行学习。但是所有的pathes会创建一个巨大的计算图。

​ 因此，我们使用K组来表示每个WSI。

​ 按照特征相似性度定义，将pathes映射到k个全局质心z。特定特征质心zi来表示WSI的k个部分。在用这k个特征形心来进行处理，可以减少计算量。

​ 虽然a的尺寸已经通过k个质心特征而减少，但求解质心的过程仍需要一个巨大的图，通过平均每个部分的所有特征来计算。为了简化这个问题，我们随机抽取P个最近的path中的一个。

网络架构图

a）初始化：将所有的pathes随机分配给k组，随机初始化e，计算全局质心z1-zk。

b）每个训练的图片的pathes映射到流形中的k个簇

c）近似滑动特定质心zi通过它们最近的pathes。将k个pathes输入模型，用于幻灯片级标签预测。

d）在特征空间中，使每个部分的pathes与对于的特定质心之间的欧式距离最小化

e）两个目标同时进行训练，训练过程中由e变化所定义的流形和全局质心。

3.3. Manifold Initialization and Training Iterations

​ 初始化数据流形，在开始时，随机分成k组。e的参数也是随机初始化。然后计算初始全局质心zi。为了节省计算时间，我们只对10%的训练幻灯片进行采样，每张幻灯片只采样100个pathes。