coarse-to-fine(1) CF-DRNet_coarse to fine-CSDN博客

本文链接：https://blog.csdn.net/momoka9/article/details/124290627

1、Coarse-to-fine classification for diabetic retinopathy grading using convolutional neural network

使用卷积神经网络对糖尿病视网膜病变分级进行从粗到细的分类。

Artificial Intelligence in Medicine

Volume 108, August 2020, 101936

亮点

首次提出了一个分层的从粗到细的糖尿病视网膜病变（DR）网络（CF-DRNet），该网络可以利用卷积神经网络实现分层的五级分级。

拟议的CF-DRNet由预先训练好的粗略网络和预先训练好的精细网络组成。粗粒度网络进行两级分类，细粒度网络进一步进行四级分类 DR严重程度等级。

在预训练的粗网络中引入了自门软注意机制模块（The self-gated soft-attention mechanism modules），用于两类分类，以有效地突出病变特征，抑制无关信息。

摘要：利用卷积神经网络（CNN）对DR的五个阶段的严重程度进行分类。CF-DRNet符合DR分级的分层特点，有效提高了DR五级分级的分类性能，主要包括以下内容。(1) 粗网络进行两级分类，包括无DR和DR，其中注意力门模块（attention gate module）突出突出病变特征，抑制无关的背景信息。(2) 提出的精细网络对粗略网络中的级DR严重程度进行四级分类，包括轻度、中度、重度非增殖性DR（NPDR）和增殖性DR（PDR）。实验结果显示，在公开的IDRiD和Kaggle眼底图像数据集中，所提出的CF-DRNet优于一些先进的方法。

2、背景

DR分级可以通过眼底图像中视网膜表面病变的数量、大小和类型来分类[8]。根据国际临床糖尿病视网膜病变疾病严重程度量表[9]，可以将DR的严重程度分为五个阶段，包括无糖尿病视网膜病变（No DR）、轻度非增殖性 DR（NPDR），中度NPDR，重度NPDR，以及PDR。

3、挑战

DR分类已经有了一些工作。但是存在一些挑战。1）训练样本的不足限制了自动DR分级的分类性能[14]。与拥有数百万数据的分类任务相比，如ImageNet挑战赛[15]，很难在DR分级任务上取得优异的性能；2）DR分级的分类性能受到类间相似性和类内变化的影响[16]。DR分级的分类很复杂，因为同一类别的眼底图像之间的病变大小存在明显的视觉差异，而两个不同类别的眼底图像之间在形状和颜色上存在视觉相似性。

4、相关工作

提到1、过去用机器学习的方法依靠先验知识人工提取特征；2、后来用CNN以及一些改进（增加CNN深度、和输入图像的分辨率）。没有提到分级的借鉴思路。

5、网络结构

(1) 预处理模块对眼底图像进行归一化、图像增强和数据增量等操作。(2）CF-DRNet模块用于DR分类，它由两个子网络组成，包括粗网络和细网络。预先训练好的带有注意力模块的粗网络进行二分类。预先训练好的带有大尺寸图像的精细网络是为这四个阶段的DR严重程度等级设计的。(3) 聚合模块进行标签融合。

输入size。粗256*256；细512*512。

（2）粗网络：基于resnet-18（short-cut结构可以解决退化问题）

注意门来自：Attention u-net: Learning where to look for the pancreas

带有注意门模块的ResNet可以学习增强病变特征，抑制眼底图像的不相关信息。注意力门模块的输出通过乘法操作与输入融合，融合结果作为下一层的输入。

6、训练过程

Overall testing set is divided into two classes including grade No DR and grade DR. 整体测试集被分为两类，包括无DR级和DR级。无DR级的结果是通过粗略网络的两类分类性能得到的。

CF-DRNet的实现和训练/测试过程。计算机平台的配置如下。CPU是Inter(R) Core(TM) i7-5930 K 3.5 GHz；GPU是NVIDIA 2080TI，内存11G。所有代码都在Python 3.6下编写，我们使用Tensorflow r1.4作为深度学习库。这里使用的CUDA版本是10.0。在训练阶段，使用小批量随机梯度下降带动量（设置为0.9）学习权重参数。基础学习率被设置为10 ^ -3 ，并迭代减少，直到损失停止减少。所有的模型都是用10,000次迭代来训练的。
对于粗略网络，数据集中的五个等级的眼底图像和相应的标签（无DR、轻度NPDR、中度NPDR和重度NPDR）被转化为两个等级的眼底图像和相应的标签（无DR、DR）。在训练阶段，批次大小被设定为8，在测试阶段，所有预处理过的×256 256像素的测试图像被输入到粗略网络。最后，测试集的眼底图像被分为两类（无DR、DR）。对于精细网络，在训练阶段，批次大小被设定为4。在测试阶段，来自粗网络分类为DR的图像和标签被进一步分为四个等级（轻度NPDR、中度NPDR和重度NPDR）。所有×512 512像素的测试图像被输入到精细网络。最后，测试集的眼底图像被划分为四个阶段的DR严重程度等级。

7、两个数据集