论文(三):Dual-stream Multiple Instance Learning Network for Whole Slide Image Classification

DS-MIL --CVPR(2021)

Dual-stream Multiple Instance Learning Network for Whole Slide Image Classification with Self-supervised Contrastive Learning

基于自监督对比学习的病理图像分类双流多实例学习网络

Abstract

​ 病理图像(WSI)具有非常高的分辨率，并且通常缺乏本地化注释。当只有图像级标签可用时，WSI分类可以被转换为MIL问题。

​ 我们提出了一种基于MIL的WSI分类和肿瘤检测方法，不需要局部标注。这个方法有三个主要组成部分。

1. 引入了一种新的MIL聚合器，该聚合器在具有可训练距离度量的双流体系结构中对示例之间的关系进行建模。
2. WSI会产生大的或不平衡的袋子，从而阻碍MIL模型的训练，我们建议使用自监督对比学习为MIL提取良好的表示，并缓解大袋子的记忆成本过高的问题。
3. 对多尺度WSI特征采用金字塔融合机制，进一步提高分类定位精度。

模型在两个代表性的WSI数据集上进行评估。分类精度优于完全监督方法，优于之前所有基于MIL的方法。

1、Introduction

​ 以前大多数关于弱监督WSI分类的方法遵循多示例问题公式，其中每个WSI被视为一个包含多个示例的包。如果WSI(袋)的任何斑块(示例)为疾病阳性，则标记此为疾病阳性。

​ 开发用于弱监督WSI分类的深度MIL模型存在两个主要挑战。

​ 首先，当正包中示例高度不平衡时，即只有一小部分示例是正的，当使用简单的聚合操作(如max)，模型很可能对这些正示例进行错误分类。此外，由于监督信号较弱，模型容易发生过拟合，无法学习丰富的特征表示形式。

​ 其次，目前的模型要么使用CNN提取固定的特征，要么只使用几个高分示例更新特征提取器，因为对特征提取器和聚合器的端到端训练对于大的袋子来说是非常昂贵的。

​ 为了解决这些挑战，提出了新的深度MIL模型，称为双流多示例学习网络(DSMIL)。使用双流体系联合学习一个示例和图像(包)分类器。第一个流部署一个标注的最大池来识别得分最高的示例(称为关键示例)，第二个流通过测量每个示例到关键示例的距离来计算每个示例的注意力得分。

2、Related Work

​

3、Method

​ 提出了弱监督WSL分类方法，本节介绍MIL的表达式，并给出模型DS-MIL

3.1、MIL

根据多示例学习的两种建模方式：

​ 1、基于示例 ：f是一个示例分类器，它对每个示例进行评分。g是一个池化操作，聚合示例评分产生包的评分。

​ 2、基于嵌入：f是一个示例特征提取器，它将每个实例映射到一个嵌入，g是一个聚合运算符，它从示例嵌入生成一个包嵌入，并根据包嵌入输出包的评分。

​ 基于嵌入的方法根据直接由袋子标签监督袋子嵌入生成一个袋子评分，通常比基于示例的方法效果更好，但是通常更难确定触发分类器的关键示例。

​ 在弱监督WSI分类的设置下，将每个WSI视为一个包，从其中提取的补丁视为该包的示例。然后我们将描述联合学习示例级分类器和嵌入聚合器的模型，并解释这种混合题系结构如何同时提供基于示例和基于嵌入的方法的有点。

3.2、DSMIL for WSI Classification

​ 主要创新是设计了一个新的聚合函数g，并学习了特征提取f。具体来说，提出DSMIL由一个屏蔽的非本地块和一个用于特征聚合的最大池化块组成，并通过自监督对比学习学习输入示例嵌入。此外，DSMIL使用金字塔测量组合多尺度嵌入，从而保证了WSI中补丁注意的局部约束。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KubSaUzl-1665409464150)(E:\学习笔记\笔记图片\image-20221010175416249.png)]

MIL Aggregator with Masked Non-Local Operation(带有屏蔽非本地操作的MIL聚合器)

​ DSMIL联合学习示例分类器、包分类器以及双流题系结构中的包嵌入。

​ 第一个流：采用嵌入示例的方式，f为一个示例分类器，得到每个示例分数，在使用max-pooling。最大池化层决定了得分最高的示例(关键示例)。

​ 第二个流：将上述示例嵌入聚合到包嵌入中，包嵌入由包分类器进一步评分。将得到的关键示例Hm嵌入，并将每个实例Hi(包括Hm)通过Wq、Wv提取出qi和vi。每个示例的qi都与关键示例qm进行点积得到距离，将所有的点积值(距离)通过softmax函数归一化，得到各个示例的权重。

​ 将得到的权重分别与vi相乘，在累加起来得到向量b，在通过w(多分类就为一个矩阵，本文二分类为一个向量)得到包B的分数。

​ 最终的袋子分数是两个流分数的平均值。

Self-Supervised Contrastive Learning of WSI Features(WSI特征的自我监督对比学习)

​ 使用自监督对比学习来学习特征提取器f{由hi = f(xi)的过程}。采用了一个最先进的自监督学习框架：SimCLR。他是一种对比学习策略，训练CNN将同一图像中的子图像关联到一批子图像中。

Locally-Constrained Multiscale Attention(局部约束多尺度注意)

4、Experiments and Results

在两个临床WSI数据集：Camelyon16、TCGA (涵盖不平衡/平衡袋和单/多类MIL问题)

5、结论

​ 本文提出了一种新的基于MIL的弱监督WSI分类方法，比以往方法有了相当大的改进。

​ 关键技术创新是一个新的MIL聚合器，它在MIL基准数据集和代表性WSI数据集上都优于最近的MIL模型。

​ 建议在MIL模型中使用自我监督对比学习，并加入多尺度特征。将所提出的聚合器、对比学习和多尺度特征集成到WSI分类的MIL模型中。

​ 通过将WSI中的肿瘤检测作为MIL问题，我们的解决方案有可能在现实世界的临床应用中得到大量无注释的幻灯片。我们相信我们的工作为MIL和计算组织病理学提供了坚实的一步。

并加入多尺度特征。将所提出的聚合器、对比学习和多尺度特征集成到WSI分类的MIL模型中。

​ 通过将WSI中的肿瘤检测作为MIL问题，我们的解决方案有可能在现实世界的临床应用中得到大量无注释的幻灯片。我们相信我们的工作为MIL和计算组织病理学提供了坚实的一步。