论文121：Hierarchical discriminative learning improves visual representations (2023, CVPR, 开源)

1. 要点

题目：提升生物医学显微图视觉表示的层级辨别性学习 (Hierarchical discriminative learning improves visual representations biomedical microscopy)

代码：https://github.com/MLNeurosurg/hidisc

研究目的：
已有的自监督表示学习 (SSL) 方法在应用于WSI时存在局限性，包括假设同一患者的图像块是独立的、忽视了临床生物医学显微镜图像的层次结构，以及需要强烈的数据增强来提高下游性能，但这些增强可能会降低图像特征的可区分性。

关键技术：

1. 层次化判别学习（HiDisc）：
   利用临床生物医学显微镜图像固有的患者-WSI-图像块层次结构，定义了一个层次化的自监督学习任务，通过在数据层次中定义正样本对，结合图像块、幻灯片，以及患者的判别学习目标进行视觉SSL；
2. 自监督对比学习框架：
   在该框架中，正样本对是基于数据层次中的共同祖先来定义的，用于视觉SSL的统一图像块、幻灯片和患者判别学习目标；
3. 层次化数据结构的利用：
   通过在数据层次中采样图像块，引入了正样本之间的多样性，避免了对强烈、领域不可知的数据增强的需求。

数据集：

1. SRH：用于多类组织病理学癌症诊断任务的数据集，包括正常脑组织和6种不同的脑肿瘤诊断。
2. TCGA：用于分子遗传突变预测的数据集，专注于脑肿瘤患者的WSI，特别是诊断为弥漫性胶质瘤的患者。

说明：
和已有自监督表示学习的主要区别在于，其利用了患者-WSI-区块这一层级结构，设计了一个融合每个层级对比损失的新损失。单看某一个层次，和已有方法没啥区别。

2 方法

2.1 患者-WSI-图像块层次结构

HiDisc的动机是，临床WSI中的视场 (fields-of-view，从患者肿瘤中采样的) 是一组多样化的图像示例，它们捕获了相同的潜在癌症诊断。HiDisc专注于在已知的临床患者-WSI-图像块层次结构的背景下，使用多样化的视场来改善视觉表示学习。大多数包含在公共癌症组织病理学数据集中的患者，包括癌症基因组图谱 (TCGA) 和OpenSRH，都包含多个WSI作为他们临床癌症诊断的一部分。这些WSI可能是从患者肿瘤的不同位置采样的，或者是同一肿瘤标本的不同区域。在人类癌症中，组织病理学和分子异质性已经被很好地描述，这鼓励临床医生获取多个标本/样本/视图。

为了利用图1中显示的层次结构，我们在图像块、幻灯片和患者级别创建正样本对，以定义具有相应视觉特征多样性增加的不同判别学习任务：

1. 图像块判别：正样本对是通过相同图像块的不同随机增强创建的，该策略类似于现有的通过实例判别进行SSL的工作；
2. 幻灯片判别：正样本对是从同一WSI中采样的不同增强的图像块创建的，其捕获了同一标本内的局部特征多样性。可以在这一层次上捕获细胞学和组织结构特征的区域差异；
3. 患者判别：正样本对是从同一患者的不同WSI中创建的。来自不同WSI的图像块具有相同的潜在癌症诊断，但由于空间上分离的肿瘤标本，可能具有最大的特征多样性。此外，这一层次上还捕获了标本质量、处理和染色等方面的多样性；
   
   层次判别任务的概述如图2。
   

2.2. 层次判别

HiDisc损失函数基于NT-Xent构建，并受到文献[27, 56]的启发，目的是为了处理多个正样本对。与常规的对比学习损失不同，HiDisc损失在训练过程中不使用类别标签，而是使用生物医学显微图像的固有层级信息，来提升视觉SSL。表1展示了一些重要参数：

1. 从$n$个患者中随机采样一个小批次、每个患者采样$n_s$个WSI、每个WSI采样$n_p$个区块，并对每个区块增强$n_a$次；
2. 如果一个患者少于$n_s$个WSI，则会对幻灯片重复采样；
3. 假设$n_p$远小于可以用WSI采样的区块数量；
4. 如果患者只有一个WSI，则只考虑WSI辨别能力而非患者辨别能力；
   
   HiDisc损失包含了三个层级上损失的和，每个损失对应于区块-WSI-患者层级中的一个辨别性任务，以便在每个级别上捕获正样本对。具体地，对于层级$\ell$的HiDisc损失定义如下：
   $$L_{\text{HiDisc}}^{\ell }=\sum _{i\in \mathcal{I}}\frac{-1}{|{\mathcal{P}}_{\ell }(i)|}\sum _{p\in {\mathcal{P}}_{\ell }(i)}\log \frac{exp(z_i\cdot z_p/\tau )}{{\sum }_{a\in \mathcal{A}(i)}exp(z_i\cdot z_a/\tau )}\text{\hspace{1em}(1)}$$其中$\ell$属于 { Patch , Slide , Patient } \{\text{Patch}, \text{Slide}, \text{Patient}\} {Patch,Slide,Patient}，代表判别级别，以及$\mathcal{I}$是小批量中所有图像的集合。${\mathcal{A}}_{\ell }(i)$是除了锚点图像$i$之外$\mathcal{I}$中所有图像的集合：
   A ( i ) = I ∖ { i } , (2) \tag{2} \mathcal{A}(i) = \mathcal{I} \setminus \{i\}, A(i)=I∖{i},(2)以及$P_{\ell }(i)$是$i$在$\ell$级别上的正样本对集合，定义为：
   P ℓ ( i ) = { p ∈ A ℓ ( i ) : ancestry ℓ ( p ) = ancestry ℓ ( i ) } , (3) \tag{3} \mathcal{P}_{\ell}(i) = \{p \in \mathcal{A}_\ell(i) : \text{ancestry}_{\ell}(p) = \text{ancestry}_{\ell}(i)\}, Pℓ​(i)={p∈Aℓ​(i):ancestryℓ​(p)=ancestryℓ​(i)},(3)其中${\text{ancestry}}_{\ell }(\cdot )$表示批量中增强图像块在$\ell$级别上的祖先关系。例如，来自同一患者的图像块$x_i$和$x_j$会有相同的患者祖先，即${\text{ancestry}}_{\text{Patient}}(x_i)={\text{ancestry}}_{\text{Patient}}(x_j)$。

区块级别、WSI级别，以及患者级别的HiDisc损失共享相同的对比目标，但在层次结构中的不同级别捕获正样本对。每个损失在小批量中会有不同的正样本对数量。完整的HiDisc损失是所有级别判别损失的总和：
L HiDisc = ∑ ℓ ∈ { Patch , Slide , Patient } λ ℓ L HiDisc ℓ , (4) \tag{4} \mathcal{L}_{\text{HiDisc}} = \sum_{\ell \in \{\text{Patch}, \text{Slide}, \text{Patient}\}} \lambda_{\ell} L^{\ell}_{\text{HiDisc}}, LHiDisc​=ℓ∈{Patch,Slide,Patient}∑​λℓ​LHiDiscℓ​,(4)其中${\lambda }_{\ell }$是总损失中级别$\ell$的权重超参数。