Robust Collaborative Learning of Patch-Level and Image-Level Annotations for DR 文章阅读

Robust Collaborative Learning of Patch-Level and Image-Level Annotations for Diabetic Retinopathy Grading From Fundus Image

基于眼底图像的糖尿病视网膜病变分级的块级和图像级注释的鲁棒协同学习

作者：Yehui Yang , Fangxin Shang , Binghong Wu , Dalu Yang, Lei Wang, Yanwu Xu , Wensheng Zhang, Tianzhu Zhang

发表期刊：IEEE TRANSACTIONS ON CYBERNETICS  SCIQ1  11.2

数据集：IDRiD，Messidor-1,2， EyePACS，Private

代码地址： https://github.com/clpicode.

摘要：文章提出了一个框架，协同利用补丁级和图像级注释来进行DR分级。通过端到端的优化，该框架可以双向交换细粒度病变和图像级分级信息。使用更细致的判别特征来进行DR分级。

存在的问题：

1. 大部分工作以两阶段的方式构建了从病变特征到DR分级的单向特征传输，即病变相关模块和DR分级模块分开训练。
2. 部分工作虽可以端到端优化网络模型，但是大部分这类工作都需要像素级注释来生成掩膜。但像素级注释是一项非常耗时费力的工作。

本文提出一个强大的端到端的框架，协同学习斑块级病变和图像级等级注释DR分级。该模型主要包括一个病变注意力模块和一个分级模块，通过仅用几个块级注释来训练病变注意力生成器，该模型可以以半监督的方式来为分级模块提供输入图像的块级注意力。该病变注意力生成器可以使用 图像补丁进行预训练，以避免丢失标签的问题。

总体模型如上图所示，

第一部分Lesion Attention Generator

该部分旨在探索病变相关的attention map。对输入图像，该方法首先将图片分割成小块，然后根据每个小块中存在的病变生成概率向量。概率向量的四个维度为MA，出血，渗出或者无。理想情况下，概率向量中的较大值是对应病变存在于输入patch中的较高概率。最后通过拓展概率向量构建整幅图像的attention map。

从图像中提取病变信息的直接方式是应用一些sota检测器，如Faster-rcnn。或将病变检测作为基于块的分类问题。

表二为检测网络生成器的主干。卷积层之间的激活函数是Mish。

在分级模块中，设置了两种分级任务，使用denseNet121作为骨干网络。

做出的关键调整：

1）没有全连接层的分类骨干（主干2）;

2）用于将异常病变图递送到分级头附近的快捷连接;

3）用于将异常病变图和来自分类主干的特征集成的1×1卷积层;

4）用于预测DR等级的全局平均池化（GAP）和softmax层。

损失函数使用交叉熵损失函数：

实验效果：

下周计划：Transfer learning based robust automatic detection system for diabetic retinopathy grading