【论文阅读】(CVPR 2023 Highlight)Devil is in the Queries: Advancing Mask Transformers for Real-world ...

论文地址：https://arxiv.org/abs/2304.00212
代码：未开源
OOD（Out of Distribution）问题，OOD (Out-of-Distribution) 问题指的是模型在处理与训练数据分布不同的数据时的性能下降。在机器学习中，模型通常在特定分布上进行训练，但在实际应用中，可能会遇到与训练数据分布不同的数据。这种情况下，模型可能无法准确地进行泛化，导致性能下降，甚至出现错误的预测。包含两类a. 语义偏移semantic shift b. 协方差偏移 covariate。

针对的问题：OOD问题。长尾问题（数据在不同类别上数量差距过大，比如：常见病，罕见病）。
提出医学分割中面临的OOD问题是近OOD问题。就是其中的离群点和内点接近。并指出现在的医学分割使用普通的损失函数比如Dice Loss更关注前景和背景之间的差异，但是医学中需要的医学中OOD检测和定位应该更多关注离散点和内点之间的细微差异，而不是背景和前景的差异。
指出了现在医学分割/分类中面临的问题是图像像素和过度语义（比如：肿瘤类型）之间建立直接关系对于Real world的医学分割来说很困难。
Challenage:区分离群点和内值点。
本文的设计思路：

1. 针对明确图像像素和过度语义（比如：肿瘤类型）之间建立直接关系非常困难的问题，指出内部聚类有助于医学图像中识别OOD区域。–>关于Mask Transformers的一些工作启发了作者将分割看作是每像素聚类分配和聚类分类的两阶段过程，采用MaxQuery。采用可学习的对象查询迭代拟合内部聚类中心。由于OODs与内部簇之间的亲和力应小于簇内亲和力，MaxQuery使用这种亲和力的负值作为检测OODs的指标。

2. 针对聚类中心冗余地表示背景和器官中的大区域，而不是肿瘤的问题，提出QD Loss规范背景、器官、肿瘤之间的目标的query数。提高了分割的多样性和OOD肿瘤识别分割的能力。
   本文提出的观点： mask transformer利用独立的Transformer块增强基于CNN的骨干，非常适用于医学图像分割与肿瘤识别定位。原因：这些任务要求网络a. 对图像的纹理有局部的敏感性 b. 全局理解用于肿瘤亚型识别的形态学信息
   
   （下面是个人理解，有不对及时指出，共同进步，但是我也不懂，之后填坑）
   蓝色部分：下面是nnUnet模型，Object queries是可学习的参数，它们之间使用cross attention，特征作为key和value，Object queries作为query进行注意力操作，得到C。
   黄色部分：C与得到的P之间相乘得到R,经过softmax得到掩码预测M。（使用softmax与sigmoid不同的是使模型关注不同区域，提高分割的多样性。）C进入MLP进行评估，预测这N个聚类的K个通道的分类。聚合掩码预测M和分类$C_k$用于分割，多分割。剩下的就是QD损失的部分用mask监督掩码预测M，把M按照通道（1，1，K-2）分为三个部分，第一部分使背景，第二部分是器官，第三部分K-2使不同类别肿瘤的mask。让模型更加关注OOD与内部对象差异性。
   方法：
   QD Loss: 用分割的真值GT对聚类分配的概率图进行监督，就是把GT,M进行分组分成背景、器官和肿瘤，使用G去监督M。
   $M=\underset{N}{\mathrm{softmax}}(R)=\underset{N}{\mathrm{softmax}}(C{P}^T)$
   OOD Localization:MaxQuery，即最大查询响应的负数，反映了像素与其分配的聚类中心的距离。直观上，离群点的MaxQuery应该小于内点。
   $A=-\underset{N}{\max }R$
   结果
   对比实验

3. 定量
   本文提出的方法在胰腺肿瘤和肝脏肿瘤OOD定位上和病例级OOD检测性能上都取得了最先进的性能。
   

4. 定性
   本文提出的方法对于肿瘤有较高的异常分数，对器官胰腺有较低的异常分数。
   

消融实验
使用QD Loss后，我们可以更好地管理背景、器官和肿瘤的查询分布.

结论：处理具有长尾分布的大量医学成像数据一直是一项挑战。本文的方法在两个真实世界数据集上的显著性能改进验证了其有效性。这一结果证明了将分割解释为（查询）聚类分配是有效的。提出新颖的MaxQuery和QD损失也明显有助于在实际场景中进行更深入的分割和（近）OOD检测/定位。