DAS-MIL

DAS-MIL论文笔记

题目：DAS-MIL: Distilling Across Scales for MIL Classification of Histological WSIs

摘要

近年来，采用多实例学习 （MIL） 对全玻片图像 （WSI） 进行分类的情况有所增加。事实上，在实践中，对千兆像素 WSI 进行像素级注释大多是不可行的，而且非常耗时。出于这个原因，MIL方法已经与最新的WSI分类深度学习解决方案进行了有益的整合，以支持临床实践和诊断。

然而，大多数此类方法都忽视了WSI的多尺度性质;现有的少数分层媒介与信息素养建议只是通过特征向量的串联或求和来扁平化多尺度表示，而忽略了WSI的空间结构。

本文内容：

1. 本文旨在释放金字塔结构WSI的全部潜力;
2. 提出了一种基于图的多尺度MIL方法
3. 利用消息传递让信息在多个尺度上流动
4. 通过知识蒸馏模式，鼓励不同分辨率下的潜在空间表示之间的对齐，同时保持信息内容的多样性

代码地址

方法

以不同尺度提取的特征通过不同的图形连接（8-连通性）。两个图的节点后来融合到第三个节点中，遵守“部分”规则。然后，将上下文化特征传递到不同的基于注意力的 MIL 模块，这些模块提取袋子标签。此外，知识蒸馏机制鼓励不同尺度提供的预测之间的一致性。

采用Dino进行特征提取

通过金字塔图神经网络对patch交换局部信息，每个节点代表在不同尺度上看到的单个 WSI patch

采用了图ATtention层（GAT）执行消息传递

知识蒸溜

因此，获得了两种分辨率的两组不同的预测：即袋级评分（例如，肿瘤存在与否）和patch级评分（例如，哪些实例对目标类别的贡献最大）。然而，由于这些学习指标是从不同的WSI缩放中推断出来的，因此可能会出现分歧：分辨率越高，分类性能越好。在这项工作中，利用这种差异引入了两个额外的优化目标，它们将较高尺度的预测固定为较低尺度的教学信号。除了仅改善最低比例的结果外，我们预计它的好处也将传播到共享消息传递模块，从而传播到更高的分辨率。


整体需要优化的目标

实验结果

对比实验

消融实验