Lesion-Aware Transformer for Diabetic Retinopathy Grading论文笔记

CVPR2021

 摘要

        糖尿病性视网膜病变Diabetic retinopathy (DR)是导致人群失明的主要原因，自动DR诊断包括DR分级和病变发现，现有的大多数方法都将DR分级和病变发现视为两个独立的任务，这需要病变注释作为学习指导，并限制了实际部署.论文提出了基于病变感知的transformer（LAT），用于通过包括基于像素关系的编码器和基于病变滤波器的解码器的编码器-解码器结构，在统一的深度模型中共同进行DR分级和病变发现。

         （1）第一个通过编码器解码器将病变发现定义为一个弱监督的病变定位问题

        （2）提出病变区域重要性和病变区域多样性两种机制来识别不同的病变区域

        在Messidor-1、Messidor-2和EyePACS这三个数据集上进行的广泛实验结果表明，所提出的LAT优于最先进的DR分级和病变发现方法。

Introduce

         图（a）黄色、蓝色、红色箭头分别表示出血、渗出物和微动脉瘤，图（b）是图（a）绿色方框内的像素放大，相同病变区域具有像素外观一致性

        为了获得更精确的DR分级效果同时获得完整的病变区域划分，需要考虑三个问题：

        （1）对像素之间的相关性进行学习；

        （2）需要考虑图像中不同病变区域的重要性；

         （3）模型应尽可能感知多样化特征，从多的病变区域捕获相应的病变特征，还应考虑病变特征的紧凑性。

LAT结构

        整个流程：输入眼底图像后输出预测的DR等级和对应的病变激活图

 （1）Pixel Relation based Encoder

       为了获得全局上下文信息，本文对像素关联进行建模，通过自注意力机制生成增强后的特征图。首先利用卷积层将特征图的通道维数减小到较小的维数L，然后将空间维数展平为一维，以产生新的特征图；然后根据特征图F获得对应的Q,K,V进行多头自注意力的计算

 

（2）Lesion Filter based Decoder

（3）DR Grading

 (4)Joint Trainging and Inference

 实验

        数据：Messidor-1数据集    包含1,200个眼底图像。分级表只有四个等级，实施referral classification and normal classification。对于参考分类，0级和1级被标记为不可参考，而2级和3级被视为可参考。对于正常分类，仅将0级分配为正常，其他等级视为异常。对整个数据集使用10倍交叉验证。

        Messidor-2数据集    是原始Messidor-1数据集的扩展，包含1748张眼底图像并且是5级分级。

        EyePACS数据集     包含35,126训练图像，10,906验证图像和42,670测试图像。具有五个DR类别。

        评估指标：对于五个DR类别，使用二次加权kappa度量，可以有效地反映模型在不平衡数据集上的性能。kappa的值在0到1之间变化，较高的值表示更好的模型性能。 对于referral classification and normal classification，使用AUC 度量进行评估