阅读论文（九）

论文题目：Lesion-Aware Transformer for Diabetic Retinopathy Grading

中文题目：糖尿病视网膜病变分级的病变感知变压器

0摘要

糖尿病性视网膜病变Diabetic retinopathy (DR)是导致人群失明的主要原因，自动DR诊断包括DR分级和病变发现，现有的大多数方法都将DR分级和病变发现视为两个独立的任务，这需要病变注释作为学习指导，并限制了实际部署。论文提出了基于病变感知的transformer（LAT），用于通过包括基于像素关系的编码器和基于病变滤波器的解码器的编码器--解码器结构，在统一的深度模型中共同进行DR分级和病变发现。

LAT包括编码器和解码器。编码器：建立像素关系；解码器：病变滤波器

（1）第一个通过编码器解码器将病变发现定义为一个弱监督的病变定位问题

（2）提出病变区域重要性和病变区域多样性两种机制来识别不同的病变区域

什么是弱监督对象定位？

弱监督对象定位（WSOL）旨在仅使用图像级标签同时推断对象位置和类别。

 在Messidor-1、Messidor-2和EyePACS这三个数据集上进行的广泛实验结果表明，所提出的LAT优于最先进的DR分级和病变发现方法。

1介绍

  图（a）黄色、蓝色、红色箭头分别表示出血、渗出物和微动脉瘤，图（b）是图（a）绿色方框内的像素放大，相同病变区域具有像素外观一致性。

为了获得更精确的DR分级效果同时获得完整的病变区域划分，需要考虑三个问题：

（1）对像素之间的相关性进行学习；如图1 (a)所示，眼底图像中包含的病变区域分布通常比较稀疏。此外，同一病灶区域像素的外观相似，但与背景像素不同，如图1 (b)所示。

（2）需要考虑图像中不同病变区域的重要性；应考虑每张图像中不同病变区域的重要性。观察发现，并非所有病变信息都有利于某一特定DR严重程度，甚至有些病变信息是噪声信号。

（3）模型应尽可能感知多样化特征，从多的病变区域捕获相应的病变特征，还应考虑病变特征的紧凑性。如图1 (a)所示，每张眼底图像可能包含多个不同的病变。此外，即使是相同严重程度的眼底图像也可能在病变的类型和数量上存在不一致。

2相关工作

Weakly Supervised Object Localization，弱监督对象定位

Attention-based Transformers，基于注意力的转换

协同学习；对比学习

3Lesion-Aware Transformer Network（LAT）损伤感知变压器网络

 3.1. 概述

整个流程：输入眼底图像后，输出预测的DR等级和对应的病变激活图

LAT 包括编码器和解码器。

编码器：使用适应像素外观的变化的注意力，对像素的相关性进行建模，以捕获全图上下文信息。即实现对外观相似的病灶像素的聚集和对杂乱背景像素的抑制。

解码器：设计了一个自注意模块和一个交叉注意模块来学习病灶感知过滤器，引入重要性预测模块来评估每个病变区域的贡献;采用triplet loss来学习病变区域的多样性和紧凑型。

3.2. Pixel Relation based Encoder（基于像素关系的编码器）

为了获得全局上下文信息，本文对像素关联进行建模，通过自注意力机制生成增强后的特征图。首先利用卷积层将特征图的通道维数减小到较小的维数L，然后将空间维数展平为一维，以产生新的特征图；然后根据特征图F获得对应的