文章目录
-
目录
摘要
利用眼底图像进行眼病的早期筛查具有重要的临床意义。由于其强大的性能,深度学习在病变分割、生物标记分割、疾病诊断和图像合成等相关应用中越来越流行。因此,需要综述总结眼底图像深度学习的最新进展。
在这篇综述中,我们介绍了143篇具有精心设计的层次结构的应用程序论文。此外,还提供了33个公开的数据集。我们为每个任务提供了总结和分析。最后,揭示了所有任务共同的限制性,并给出了可能的解决方案。我们还将在https://github.com/nkicsl/Fundus评论上发布并定期更新最新的结果和最新发布的数据集,以适应这一领域的快速发展。
1.引言
根据世界卫生组织2019年10月发布的世界宣明会报告1,全球有超过4.18亿人患有青光眼、糖尿病性视网膜病变(DR)、年龄相关性黄斑变性(AMD)或其他可能导致失明的眼病。眼病患者往往没有意识到无症状情况的恶化,因此早期筛查和治疗眼病尤为重要。
在眼底图像中可以看到许多重要的生物标记,如视盘(OD)、视杯(OC)、黄斑、胎儿、血管和一些DR相关的病变,如微动脉瘤(MAs)、出血(HEs)、硬性渗出物(EXs)和软性渗出物(SEs)。真菌图像可用于诊断多种眼病,包括青光眼、DR、AMD、白内障、早产儿视网膜病变(ROP)和糖尿病性黄斑水肿(DME)。
深度学习在眼底图像中的大多数应用可以粗略地分为分类、分割和合成任务。为了简洁起见,我们只列出了在眼底图像应用中广泛使用的骨干结构。眼科疾病的诊断和分级是分类任务的两个例子:VGG-Net、ResNet和DenseNet等是使用最广泛的分类主干网络。在分割任务方面,识别病变和生物标记物对疾病的诊断具有重要意义。
在分割方面,其他广泛用于眼底图像分割的网络包括FCN、SegNet、U-Net、MaskRCNN和DeeplabV3+。最后,在眼底图像合成领域,生成对抗网络(GANs)是主导架构。
在这篇综述中,我们着重于2016年1月至2020年8月,深度学习方法在眼底图像中的成功应用。会议来源包括CVPR、AAAI、MICCAI、ISBI、ICMLA和ICIP,《期刊》来源包括IEEETIP、IEEETMI、MIA每个任务的论文分布如图所示。
2.损伤检测
在本节中,我们将回顾深度学习方法是如何应用于病变检测/分割。此任务的广泛使用的数据集显示在选项卡中。以下是一些有利用价值的数据集
- RC-RGB-MA数据集包含250张图像。MAs由两位专家在边界框级进行了注释。
- RC-SLO-MA-dataset激光检眼镜数据集采用扫描激光检眼镜(SLO)拍摄。该数据集包含58张带有MA标签的图像。
- 视网膜疗法在线挑战(ROC)数据集由100张图像组成,它们被分为训练集和测试集,都包含50张图像。MAs的中心位置由专家标记。
- E-opththa MA数据集包括148张带有MAs或小HEs的图像和233张健康图像。
- Kaggle和EyePACS(加州加利福尼亚医疗保健基金会,2015年)指的是EyePACS提供的相同数据集,用于“糖尿病视网膜病变检测——识别眼睛图像中糖尿病视网膜病变的迹象”的数据集。Kaggle数据集由35126张训练分级为5个DR阶段的图像和53576个未公开阶段的测试图像组成。Kaggle数据集中的图像是使用多个具有不同视野的眼底摄像机获得的。
- IDRiD数据集(Porwal等人,2018)用于2018年ISBI举办的“糖尿病视网膜病变:分割和分级挑战”。它由分割、疾病分级和定位三个任务组成,并提供了官方培训和测试集。分割任务包括81张图像,其中包括病变(MA、HEs、EXs、SES)和OD区域。疾病分级任务包括516张DR和DME的图像。定位任务还包括516张图像,以及OD和中心中心定位的注释。请注意,IDRiD中的图像的分辨率相对较高。DDR数据集(Li等人,2019b)包含来自147家医院的13673家图像,覆盖中国23个省。为所有图像提供了具有五类DR严重级别的图像级注释。此外,757张图像还提供了针对病变(MAs、EXs、SEs和HEs)的像素级和边界框级注释
-
1 https: // www.it.lut.fifi / project / imageret /2 https: // www.it.lut.fifi / project / imageret /3 http: //