阅读论文（五）

题目：

SSiT: Saliency-guided Self-supervised Image Transformer for Diabetic Retinopathy Grading

中文题目：

SSiT：用于糖尿病视网膜病变分级的显著性引导自监督图像变换器

SCI医学2区

自监督学习（Self-Supervised Learning）是一种无需人工标注的学习方法，它通过从未标记的数据中自动生成标签或任务，然后使用这些生成的标签或任务来进行模型的训练。

这篇文章没怎么看懂

0摘要：

提出了显著性引导自监督图像转换器(SSiT)用于糖尿病视网膜病变(DR)眼底图像的分级。引入自监督学习(Self-supervised Learning, SSL)，目的是指导具有特定领域先验知识的自监督预训练。具体而言，SSiT采用了两个显著性引导学习任务：(1)基于动量对比进行显著性引导对比学习，利用眼底图像的显著性映射从动量更新的密钥编码器输入序列中去除琐碎的patch。因此，密钥编码器被限制为提供关注显著区域的目标表示，指导查询编码器捕获显著特征。(2)训练查询编码器预测显著性分割，鼓励在学习表征中保留细粒度信息。为了评估我们提出的方法，采用了四个公开的眼底图像数据集。使用一个数据集进行预训练，而其他三个数据集用于评估预训练模型在下游DR分级上的性能。在所有下游数据集和各种评估设置下，提出的SSiT显著优于其他具有代表性的最先进SSL方法。

1介绍

自监督学习 (SSL) 是一种在没有注释的图像中学习特征的方法。SSL已经成功地在计算机视觉中建立了它的有效性，但医学图像分析领域还没有完全受益于这种进步，主要是因为自然图像和医学图像之间存在巨大的领域差距。在自然图像中，显著物体通常占据很大一部分，它们的特征具有区别性(如形状和颜色)。相比之下，相同模态的医学图像具有相似的解剖结构和强度分布，不能够用于区分疾病。此外，医学图像(例如眼底图像)可以具有分散在整个图像中的各种诊断特征(例如病变)。因此，局部细粒度信息对于基于医学图像的疾病识别至关重要。

为了保留更多的细粒度信息，通过在SSL中引入显著性映射，提出了显著性引导自监督图像转换器(SSiT)。显著性图可以清晰地描绘眼底图像的前景，包括视盘/视杯、血管以及病变。采用无需训练的像素级显著性检测方法，从无注释的预训练数据集中获取眼底图像的显著性图。然后，如图 1 所示，设计了一个基于动量对比的对比学习框架，利用两个编码器（查询编码器和关键编码器）从同一输入图像的不同增强视图生成表示。关键编码器是可学习查询编码器的一个基于动量的移动平均值。为了鼓励查询编码器从突出区域学习表征，在相应突出图的指导下，从关键编码器的输入序列中移除琐碎的斑块。这样，关键编码器就能通过提供侧重于突出区域的目标表征来指导查询编码器的训练。

为了学习眼底图像的细粒度语义，引入了另一个预训练目标，即使用查询编码器预测显著性分割。因此，我们提出的SSiT不仅可以明确地指导预训练模型学习眼底图像的显著性信息，而且可以使学习到的表示保留局部细粒度信息。

我们的主要贡献总结如下:

• 提出了一种名为 SSiT 的新型 SSL 框架，用于根据眼底图像进行 DR 分级。SSiT 采用了两个学习目标，即显著性引导的对比损失和显著性图分割损失。显著性引导的对比损失鼓励编码器从显著性区域聚集特征，而显著性图分割损失则促使编码器在学习到的表征