论文120：Giga-SSL: Self-supervised learning for gigapixel images (2023, CVPR, 开源)

1 要点

题目：用于千兆像素图像的自监督学习 (Giga-SSL: Self-Supervised Learning for Gigapixel Images)

代码：https://github.com/trislaz/gigassl

研究目的：
现有的WSI分类方法依赖于有限的标注数据集，这可能导致模型过拟合和性能不足。同时，大量未标注的WSI数据集的可用性不断增加，但这些数据在现有的自监督学习 (SSL) 框架下未能充分利用。因此，拟提出了一种在WSI标签下进行SSL的策略，以利用大量未标注的WSI数据并在小数据集上提高分类性能。

关键技术：

1. Giga-SSL框架：
   一个转为WSI设计的自监督学习框架，能够在不使用任何标注数据的情况下，仅使用WSI图像来学习包表示；
2. SparseConvMIL架构：
   用于WSI分类的扩展，结合了ResNet网络作为区块嵌入器和池化函数，以及子流形卷积网络来处理稀疏数据；
3. 对比损失（Contrastive Loss）：
   在SSL使用，通过优化正样本对的相似度来训练模型；

数据集：

• TCGA

2 方法

2.1 算法设计

令$X$表示一个WSI，算法的骨架是扩展的SparseConvMIL架构：

• 包含一个 ResNet网络$f_{\theta }$ (例如ResNet18)，它在第四个残差块的开始处被切成两个连续的部分：
  • 第一部分：实例 (tile) 嵌入器$e_{{\theta }_1}$，由$f_{\theta }$的从输入层到第四个残差块的部分组成；
  • 第二部分：池化函数KaTeX parse error: Expected '}', got 'EOF' at end of input: p_{θ_2，由$f_{\theta }$的余下层组成，包括后续的残差块直到全连接层。该部分已经转换为子流形卷积网络，以便它可以处理稀疏数据。
• 对于任何图像$i$，ResNet嵌入为：
  $$f_{\theta }(i)=p_{{\theta }_2}(e_{{\theta }_1}(i))\in {\mathbb{R}}^{512}$$

算法的训练过程包括6个顺序步骤，以提取WSI表示，如图1。

1. 在实例级别设置两个WSI增强函数 $t_1$和$t_2$，其图像增强域