论文阅读 (97)：Differentiable Zooming for Multiple Instance Learning on Whole-slide Images

1 要点

1.1 概述

题目：用于全幻灯片图像的多示例学习可微缩放 (Differentiable zooming for multiple instance learning on whole-slide images)

背景：多示例学习 (MIL) 在数字病理学中对十亿像素级的全幻灯片图像 (WSI) 分类变得愈发流行

问题：

1. 已有的方法在单一放大的WSI上处理所有的组织区块，这将WSI级的上下文限制在单一尺度，且需要极大的计算资源；
2. 扩展到多尺度的方法，需要更大的计算资源要求；

方法：受病理学诊断过程的启发，提出了ZoomMIL，其以端到端的方式学习且执行多级缩放，即汇聚多级尺度上的组织-上下文信息为多个WSI表示

1.2 代码

https://github.com/histocartography/zoommil

1.3 引用

@inproceedings{Thandiackal:2022:699715,
authorq		=	{Kevin Thandiackal and Bo Qi Chen and Pushpak Pati and Guillaume Jaume and Drew FK Williamson and Maria Gabrani and Orcun Goksel},
title		=	{Differentiable zooming for multiple instance learning on whole-slide images},
booktitle	=	{{ECCV}},
pages		=	{699--715},
year		=	{2022}
url			=	{https://doi.org/10.1007/978-3-031-19803-8_41}
}

2 可微缩放MIL

2.1 注意力MIL

详情参见GAMIL中的门控注意力。

2.2 多级缩放

假设WSI在不同缩放下是可评估的，以 m ∈ { 1 , 2 , … , M } m\in\{ 1,2,\dots, M \} m∈{1,2,…,M}为索引，其中$M$表示最大的缩放尺度。与特征金字塔类似，假设$m+1$处的放大倍数是$m$处的两倍。为了高效地将MIL扩展到多级缩放，本文将从低到高倍率放大以分级鉴别高信息区块，并汇聚为最终的WSI表示：

1. 计算每个区块的注意力得分${\mathbf{a}}_m\in {\mathbb{R}}^N$；
2. 具有最大注意力得分的$K$个区块用于更高放大倍率下的操作，被选择的区块特征矩阵表示为：
   $${\tilde{\mathbf{H}}}_m={\mathbf{T}}_m^{\top }{\mathbf{H}}_m,\text{\hspace{1em}(3)}$$其中 T m ∈ { 0 , 1 } N × K \mathbf{T}_{m}\in\{ 0,1 \}^{N\times K} Tm​∈{0,1}N×K是索引矩阵，${\mathbf{H}}_m\in {\mathbb{R}}^{N\times D}$是在$m$处的区块特征矩阵。

与已有通过预处理获得多级缩放的方法不同，本文通过分类器$f(\cdot )$的预测结果在第$m$步直接选择区块。该过程不需要任何的损失或者额外的超参数。然后，由于top-$K$操作，该方法是不可导的。对此，扰动最大方法 (Perturbed maximum method) 被使用：

1. 注意力系数${\mathbf{a}}_m$添加均匀高斯噪声$\mathbf{Z}\in {\mathbb{R}}^N$；
2. 针对每个受扰动的注意力权重求解一个线性规划，其结果将被平均。因此，可微top-$K$被重写为：
   $$\mathbf{T}={\mathbb{E}}_{\mathbf{Z}\sim \mathcal{N}(0,1)}\left[\underset{\hat{\mathbf{T}}}{\mathrm{argmax}}⟨\hat{\mathbf{T}},({\mathbf{a}}_m+\sigma \mathbf{Z})1^{\top }⟩\right],\text{\hspace{1em}(4)}$$其中$1^{\top }=[1\cdots 1]\in {\mathbb{R}}^{1\times K}$、$({\mathbf{a}}_m+\sigma \mathbf{Z})\in {\mathbb{R}}^{T\times K}$表示重复$K$次后的扰动注意力权重，以及$⟨\cdot ⟩$表示点积。相应的Jacobian定义为：
   $$J_{{\mathbf{a}}_m}\mathbf{T}={\mathbb{E}}_{\mathbf{Z}\sim \mathcal{N}(0,1)}\left[\underset{\hat{\mathbf{T}}}{\mathrm{argmax}}⟨\hat{\mathbf{T}},({\mathbf{a}}_m+\sigma \mathbf{Z})1^{\top }⟩{\mathbf{Z}}^{\top }/\sigma \right],\text{\hspace{1em}(5)}$$

为了实验缩放目标，我们将索引矩阵${\mathbf{T}}_m$进行扩充，以选择区块特征${\mathbf{H}}_{m^{\prime }}\in {\mathbf{R}}^{N\cdot 4^{(m^{\prime }-1)\times D}}$，其中$m^{\prime }>m$。特别地，计算${\mathbf{T}}_m$和单位矩阵$1_{m^{\prime }}=\text{diag}(1,\dots ,1)\in {\mathbb{R}}^{4^{(m^{\prime }-1)}\times 4^{(m^{\prime }-1)}}$的Kronecker内积来获得索引矩阵 T m ′ ∈ { 0 , 1 } N ⋅ 4 ( m ′ − 1 ) × K ⋅ 4 ( m ′ − 1 ) \mathbf{T}_{m'}\in\{0,1\}^{N\cdot4^{(m'-1)}\times K\cdot4^{(m'-1)}} Tm′​∈{0,1}N⋅4(m′−1)×K⋅4(m′−1)。与公式3类似，在更高放大倍率$m^{\prime }$使用注意力权重的区块选择可以计算为：
$${\tilde{\mathbf{H}}}_{m^{\prime }}=({\mathbf{T}}_m\otimes 1_{m^{\prime }}{)}^{\top }{\mathbf{H}}_{m^{\prime }}.\text{\hspace{1em}(6)}$$

2.3 双门注意力和多尺度聚合

图2：ZoomMIL总体流程。(I)和(II)分别表示训练和推理过程

2.3.1 训练阶段

1. $m=1$时特征矩阵${\mathbf{H}}_1$通过双门注意力 (DGA) 模块；
2. DGA包含两个独立的门注意模块${\text{GA}}_1$和${\text{GA}}_1^{\prime }$；
3. ${\text{GA}}_1$在低缩放下获得基于注意力池化的最优WSI级表示；
4. ${\text{GA}}_1^{\prime }$获取有价值的注意力权重${\mathbf{a}}_1^{\prime }$，以促进更高放大倍率的区块选择；
5. 可微top-$K$选择模块${\mathbf{T}}_1$被用于选择最有信息的区块；
6. 选择过程持续到最大放大倍率$M$；
7. 被选择区块特征${\tilde{H}}_M$通过最后一个门控注意力块${\text{GA}}_M$来获取特征表示${\mathbf{g}}_M$；
8. 加和池化用于汇聚多尺度，并使用分类器$f(\cdot )$获取WSI标签$\hat{y}\in C$；

2.3.2 推理阶段

1. 去掉可微top-$K$模块中的扰动，使其变为不可微；
2. 区块选择直接在WSI区块上进行；