论文(五)：Cluster-to-Conquer: A Framework for End-to-End Multi-Instance Learning for Whole Slide Image

Cluster-to-Conquer: A Framework for End-to-End Multi-Instance Learning for Whole Slide Image Classification --PMLR(2021)

Cluster-to-Conquer:整个幻灯片图像分类的端到端多实例学习框架

Abstract

背景：WSI使用MIL框架进行处理。目前最先进的方法是将学习框架划分为两个分离的部分：CNN用于对pathes进行编码，其次是WSI预测的独立聚合方法。这种方法中聚合步骤与CNN编码器学习到的表示没有关系。

方法：提出了端到端的框架，该框架将WSI的pathes聚合为k组，从每组中抽取m个pathes进行训练，并且使用自适应注意机制来预测WSI的水平。

​

Introduction

​ 在本文中，我们提出了一种端到端方法(C2C)，该方法具有以下特点:

1. 基于聚类的采样，从WSI中进行不同的补丁选择。
2. 用于幻灯片级预测的基于注意力的聚合。
3. 在损失中加入KL-散度(相对熵)，对簇内方差进行正则化。

Method

​ WSI尺寸范围过大，在计算上无法直接用于训练。因此采用the Otsu thresholding approach and sliding window approach(大津阈值法和滑动窗口法)，提取pathes。

​ 开发了一个卷积神经网络框架C2C，该框架使用：

1. 基于聚类的采样方法，从N个示例中采样n个示例；
2. 使用注意力聚合进行端到端训练；
3. 在聚类设置中包含KL散度损失，以正则化聚类内的注意力分布。

​ 为了进行端到端的训练，部署了一种基于局部聚类的采样方法，从一个包的N个示例中选取n个示例。使用所以补丁对每个WSI独立执行K-均值聚类，将WSI补丁划分并分组到K个不同的桶中。从K个簇中采样相等的k个补丁，使得WSI中采样的最大补丁数量保持在64个(n>=k>K)。 我们假设这n个随机抽样示例近似于一个具有N个补丁的WSI的表示。

C2C：

a)在每个epoch开始，提取一个WSI的所有path的表示。采样K聚类方式，将所有的path分为k类。

b)从每个簇中抽取n个path进行端到端训练。

c)使用编码器，生成所有补丁的表示。

d)采样注意力机制进行权重计算。

e)进行WSI分类

f)将来自同一簇的补丁对应的注意权重传递给KL散度损失，以惩罚簇高簇内注意变异。

g)path表示传递给示例分类器进行弱监督训练。

最后计算loss时，分别考虑各个部分的loss。其中各个参数，从经验上看，a = 1；b = 0.01 ; r = 0.1。k = 8