【医学影像 AI】RetinalROP：早产儿视网膜病变图像数据集

本文链接：https://blog.csdn.net/youcans/article/details/145627771

【医学影像 AI】RetinalROP：早产儿视网膜病变图像数据集

0. 论文简介

2024年5月，捷克 Juraj Timkovič（University Hospital Ostrava）、Jana Nowaková（VSB-Technical University of Ostrava）等在 Nature 子刊 scientific data 发表论文 “婴儿视网膜图像数据集和早产儿视网膜病变（Retinal Image Dataset of Infants and Retinopathy of Prematurity）”，公开了一个婴儿智能视网膜病变（ROP）数据集。

该数据集包括来自 188名新生儿的 6004 张视网膜图像。

引用格式：

Timkovič, J., Nowaková, J., Kubíček, J. et al. Retinal Image Dataset of Infants and Retinopathy of Prematurity. Sci Data 11, 814 (2024). https://doi.org/10.1038/s41597-024-03409-7

论文下载： nature s41597-024-03409-7
数据集下载： figshare ROP, kaggle-ROP
Github：github-JanaNowakova

1. 摘要

早产儿视网膜病变（ROP）是一种血管增生性疾病，尤其是在新生儿和婴儿中，可能会影响和损害视力。尽管新生儿护理和医疗指南最近取得了进展，但ROP仍然是全球儿童失明的主要原因之一。

本文介绍了188名新生儿的6004张视网膜图像的独特数据集，其中大多数是早产儿。该数据集附带了来自捷克 University Hospital Ostrava 进行ROP 筛查的匿名患者信息。

研究中使用了三种数字视网膜成像相机系统：Clarity RetCam 3、Natus RetCam Envision 和 Phoenix ICON。我们使用软件工具 ReLeSeT 丰富和完善本项目的研究，该工具用于从视网膜图像中自动分割和提取视网膜病变区域，而且能计算视网膜病变区域的的几何特征和强度特征。

此外，我们还发布了一套用于视网膜病变和视网膜血管特征增强的预处理工具，用于在 ROP 分析中构建分类和分割模型。

在这里插入图片描述

2. 背景和结论

早产儿视网膜病变（ROP）是一种由新形成的视网膜血管生理发育中断引起的未成熟视网膜疾病。ROP 是发达国家儿童严重视力障碍或失明的最常见原因。
根据最新的流行病学数据，女性性别、胎龄和出生体重是影响 ROP 的因素(1)；而根据其他研究，男性性别是影响 ROP 严重程度的因素(2)。
在部分国家中，通过监测 ROP 的筛查情况和分期来评估 ROP 的发病率，相关信息如表1 所示。

表1：选定国家所监测到的 ROP分期阶段和ROP发病率
在这里插入图片描述

眼科医生定期进行眼部后段的检查，即所谓的 ROP筛查，对所有早产婴儿都是必要的。它代表了儿科眼科护理的一个高度专业化的领域，需要眼科医生的高级知识和专业设备——间接检眼镜（indirect ophthalmoscope），最好是能够随着时间的推移采集和评估早产儿眼部后段图像的数字成像设备。由于 ROP 筛查是一个数字图像处理的专业领域，因此可以借助计算机辅助方法。

计算机辅助方法可以将医疗服务扩展到世界上缺乏经验丰富的医务人员的偏远地区。计算机辅助诊断工具可用于初步诊断（如分诊），并为专家的后续治疗提供输入。在更简单的情况下，他们可以加快医疗过程，以确保为更多的患者提供医疗服务。然而，开发计算机辅助的典型方法或筛查方法，都需要多年的经验和可用的数据集。此外，一些检查和后续评估的等待时间可能太长。它们会导致疾病的晚期发现，这可能与高发病率有关。

因此，有必要为计算机辅助方法的开发以及一般的知识扩展提供实践示例和经验。在自动处理的情况下，这些示例和经验可以被视为标记数据。在本文中，将讨论标记有患者数据的视网膜图像数据。

关于成年人视网膜病变的研究和大量免费数据集很多，这些视网膜病变通常与糖尿病或眼睛的其他部位有关。但是，关于婴儿视网膜图像或直接ROP数据集的情况则不同，很少有专门针对因视网膜疾病（包括ROP）发展而接受治疗的婴儿和早产儿的研究和数据集发表。

下文和表2 总结了对报告的婴儿视网膜图像数据集的总结，以及对这些数据集进行处理、分析和计算机辅助医学的应用方法。

表2：数据库和数据集的列表。
注意：表中列出的姓名不一定是数据集的作者，而是找到数据集可用信息的文章的作者。
在这里插入图片描述
美国 iROP 数据集（USA-iROP）于2014年发布，包括 5561张图像(5,6)。但是，该数据集未对专业社区开放。没有关于该数据集的进一步信息，估计现在该数据集已经更大。基于深度学习算法的自动诊断系统被用于附加病变（plus disease）的诊断（为了更好地理解 plus disease，请参见表3），用于预测与临床变量相关的特征，预测结果可以作为生物标志物（biomarkers）来指示临床变量(7)，为附加病变的诊断和治疗提供了支持。

2015年，发布了基于计算机的图像分析系统，用于附加疾病分类和分析。该系统旨在将图像分类为 plus、pre-plus 和 Normal 三类。三位专家独立地对图像进行分类，结果非常一致。该系统基于提取的 11 个特征（如血管曲折度、扩张度等）进行分类，在 USA–1 数据集上实现了 95% 的准确率。这些特征分为基于分段（segment-based）和基于点（point-based）的特征，并分别计算动脉和静脉的特征值，然后使用高斯混合模型（Gaussian Mixture Models）对每个特征进行建模。这项研究使用了77张图片(8)。

加拿大和英国伦敦的数据集用于训练和评估基于卷积神经网络（CNN）的 ROP 检测系统。该系统使用了经过微调（fine-tuned）和预训练（pre-trained）的 GoogLeNet 模型，旨在生成疾病存在性的贝叶斯后验概率（Bayesian posterior），并使用其他 CNN 模型进行病理特征的特征图可视化(9)。

此外，iROP 的子集 USA–2 数据集和 USA–3 数据集被用于卷积神经网络（CNN）和特征提取方法的研究(10,11)。

德国 ROP 登记表提供了来自 90 名患者的数据(12)，但没有图像数据可用；同样，韩国数据库包含了 181,582 名患者的数据(13)，但也没有图像数据。

基于中国成都数据集开发的 DeepROP 系统(14)，其核心组成部分是深度神经网络（DNN）中的 Id Net（用于分类/识别 ROP）和Gr Net（用于 ROP 分级）。

此外，在文献（15）中介绍了另一个 USA–4 数据集，包含了来自 67 名患者的 248 张眼睛图像。

Tian 等人提出了一种生成模型(16)，该模型结合了分类与标签生成病变严重程度的量化评分，并在包含 100 张图像的 USA–5 数据集上进行了验证。

此外，文献（17）基于中国武汉数据集对一个 101 层的 CNN ResNet 预训练模型和 Faster-RCNN 预训练模型进行了微调，用于分类和识别任务。

另一个中国数据集，即中国-深圳数据集（18），包含20822张图像，仅以80×60像素的分辨率提供，分为 3 类—— Normal、ROP 和 unqualified（图像达不到要求而无用），该数据集被用于训练和测试 DNN 分类器，以自动区分正常图像和 ROP 图像。该作者还发表了一项非常相似的研究(19)，提到了 Telemed-R 筛查数据，该数据包含 26,424 张婴儿图像。然而，该数据集并未公开，也没有详细描述。从上下文来看，这个数据集与之前提到的中国深圳数据集（18）是相同的。

台湾和日本数据集（20）被用于训练五种深度神经网络（DNN）模型——VGG16、VGG19、MobileNet、InceptionV3 和 DenseNet，这些模型在 ROP 诊断和严重程度分类任务中取得了良好的结果。

在包含 6,043 张图像的印度数据集（21）上，使用卷积神经网络（CNN）对视盘（optic disc）进行了定位和分割。

此外，与远程医疗相关的两个数据集 SUNDROP (22) 和 e-ROP(23) ，SUNDROP 是一个大型数据集，而 e-ROP 主要针对 22至35 周出生，且体重低于 1,251 克的婴儿。

结合上述内容，尤其是免费图像数据集的缺乏，促使研究人员准备并发布了一个免费、公开且持续更新的婴儿（大多数为早产儿）数据集。该数据集提供了包含患者数据的图像，涵盖了正常（生理性）眼后段、不同阶段的 ROP（早产儿视网膜病变）以及其他眼后段疾病。作者认为，提供与早产或足月婴儿相关的其他疾病的图像也非常必要且有用，特别是那些与 ROP 有相似图像表现的疾病。图像还标注了 normal/plus/pre-plus 的标签。与已总结和可用的数据集相比，本项目通过的数据集是免费的，规模足够大，分辨率良好，并由两位独立的眼科专家进行标注，在存在分歧时通过讨论达成共识，并经过验证可用于许多任务。

所提供的数据集附带了一个用于视网膜病变分割的软件应用程序——ReLeSeT。ReLeSeT 是一种用于视网膜病变分析的新型软件，其主要目标是自动检测选定病变的形态学形状，并提取其几何特征和强度特征。ReLeSeT 由两个核心部分组成：首先使用双边滤波（Bilateral filtration）对视网膜图像进行预处理（24），然后使用无边缘主动轮廓方法（active contour method without edges）自动跟踪选定的视网膜病变（25）。视网膜病变（最常见的是出血）是一种重要的病理异常，因为它们反映了潜在疾病的血管活动。更多的神经血管化会导致视网膜上更多的出血病变。ReLeSeT 软件工具通过分割视网膜病变，自动识别病变的几何特征和强度特征。视网膜病变的识别在临床中具有重要意义，可以跟踪病变随时间的发展，从而预测其严重程度。在眼科临床实践中，视网膜病变的特征通常与视盘（optical disc）进行比较，视盘被作为参考点，因为与视网膜病变相比，光盘的几何特征不会随着时间的推移而改变。

本数据集是为机器处理准备的；所有数据分析和技术验证都是用 Python 语言实现的，使用 Pandas等标准库进行数据处理和分析。

3. 方法

首先，所有患者或其法律代表在检查前同意并签署了知情同意书，该同意书由捷克共和国俄斯特拉发大学医院伦理委员会批准，参考号为544/2018，遵循《赫尔辛基宣言》。所有数据都是在常规检查期间收集的，没有收集任何数据，只针对数据集。患者或其法定代表人同意将视听记录用于科学和教育目的，这些记录可以在期刊和出版商规定的许可证下在专业期刊上呈现和发表。记录仅取自与治疗或检查直接相关的身体部位。在演示过程中，不会公布有关人员的个人信息以及敏感的个人数据或其他可能导致更仔细识别该人的迹象。

ROP 是一种由新形成的视网膜血管生理发育中断引起的未成熟视网膜疾病（26,27），典型形式可分为五个发育阶段（表3）。0期、1期和 2期通常会自行消退，不需要治疗；只建议对孩子进行定期检查。2期（阈值前）和 3期（阈值阶段）极有可能使疾病恶化，需要治疗。4期和 5期的特征是部分或完全视网膜脱离，并伴有所有负面临床后果；对于这些阶段，需要治疗（玻璃体切除术）。Plus 类型（特征为视网膜血管的异常弯曲和扩张）是 ROP 任何阶段都可能出现的症状。Plus 类型提示病情可能迅速恶化，并且对治疗的反应较差（27~29）。Plus 类型的任何阶段（Pre-plus、Plus）都会增加主要疾病的严重程度。

表3：ROP 的阶段和附加格式的说明（63，64）
在这里插入图片描述

在 ROP 筛查过程中观察到的其他疾病并被纳入数据集的包括：错构瘤（hamartomas）、出血（hemorrhage）、视神经发育不良（hypoplasia n. II）和弓形虫脉络膜视网膜炎（toxoplasma chorioretinitis）。此外，数据集中还包含具有生理性检查结果（正常）的患者。

有关研究中包含的数据集和受试者的更多信息，请参阅章节数据记录。简而言之，有来自 188 名患者的 6004 张图像，其中96名女性和 94名男性受试者，来自女性患者的 3081 张图像和来自男性患者的 2923 张图像。平均胎龄为 33 周，平均出生体重为 2017 克，最早的检查是在受孕后 30 周进行的。

3.1 数据收集

根据机构和伦理承诺规则，在捷克共和国俄斯特拉发大学医院眼科诊所的定期检查期间收集数据。
所有妊娠第 32 周之前出生且出生体重低于 1500 克的儿童都会接受检查。然而，根据他们的临床状况，年龄较大且出生体重较高的儿童也可能被纳入筛查计划。通常，这些年龄较大或体重较高的儿童可能存在临床状况不稳定的问题，例如由于呼吸窘迫综合征（RDS）需要氧气治疗。由于这一因素，与仅针对早产婴儿的筛查相比，ROP 监测诊断的患病率可能有所不同。因此，与仅早产婴儿相比，监测诊断的患病率发生了变化。筛查每两周进行一次，整个视网膜发育完成并具备正常的血管供应。这种情况通常出现在孩子受孕后的第 40 周（出生时的妊娠周数 + 出生后实际周数 = 40 周）。检查间隔可以根据当前的临床状况缩短，目的是发现 ROP 的早期迹象，持续监测病变的发展趋势，如果视网膜病变恶化，及时启动治疗（27,30~32）。治疗方案包括：向早产儿眼睛的玻璃体腔内注射抗血管内皮生长因子（VEGF）药物，以抑制异常血管生长，或针对视网膜周围无血管区域进行激光治疗，防止异常血管扩张（27,28,33-36）。

大多数不良病变发生在视网膜的周边区域。因此，在检查之前，首先需要用滴眼液（人工散瞳，artificial mydriasis）扩张双眼瞳孔，并使用眼睑牵开器（eyelid retractor）保持眼睛睁开。ROP筛查由眼科医生使用间接眼底镜（indirect ophthalmoscopy）和数字成像系统（digital imaging system），对眼球后段（posterior segment）进行检查。检查时，婴儿需保持仰卧（见图1）。

在这里插入图片描述
图1：使用眼睑牵开器的数字成像系统（眼底照相机）对早产儿进行临床检查。

所获得的照片质量取决于散瞳的效果（瞳孔扩张的程度）和婴儿的配合程度。散瞳程度越大（越完美），拍摄到的视网膜图像质量越高。与常用于成年患者的传统眼底相机相比，ROP 专用数字成像系统的分辨率较低，但具有广角视野来弥补，可以更好地观察和评估视网膜周边区域的变化。

拍摄眼球后段的图像受限于多个因素。捕获区域较小，球形的眼睛环境，通过瞳孔获得的光线有限，并且需要捕获精细的细节。目前，这些设备有几种制造商和类型，这些设备能够满足小视野、高精度、低光环境等要求。但在大多数情况下，它们需要患者配合并保持坐姿。由于婴幼儿（尤其是早产儿）难以配合，儿科眼科医生需要专门针对婴幼儿的设备（30,31,32）。随着对远程医疗服务的日益重视，诊断自动化的发展和患有后段残疾的儿科患者的增长，以及对负担得起的医疗技术的需求正在增加，这将使足够高质量的视网膜成像成为可能。

针对 ROP 筛查，研究团队使用了以下设备：Clarity RetCam 3、Natus RetCam Envision和Phoenix ICON。这些设备专为婴幼儿眼底检查设计，能够在非配合状态下获取高质量的视网膜图像，适用于 ROP 早期筛查和远程诊疗。

3.2 设备描述

Clarity RetCam 3 是一款宽屏数字成像系统，专为儿科眼科的特定需求而设计。它允许从视网膜检查中拍摄数字图像和短视频序列以进行即时评估，随着时间的推移客观地比较结果并共享数据。根据使用的镜头，可以以高达 130度的角度拍摄图像（用于数据收集）。因此，所示的区域明显大于双目间接检眼镜（通常使用 28D透镜和距离眼睛表面20mm的工作距离对视网膜进行30度观察）。完全集成的设计和电池允许设备完全独立运行和移动。Clarity RetCam 3 提供分辨率为640×480像素的图像输出。照明由100-6000lux的外部卤素光源提供。该相机配有电动和手动对焦（图1）。

部分数据是使用 Natus RetCam Envision 收集的，Natus RetCam Envision 是 Clarity RetCam 3 的追随者之一，具有一些新功能和改进。制造商声明有五项主要的改进：图像分辨率为1440×1080像素，比 Clarity RetCam 3 高2.25倍。新设备通过一个镜头提供130个视场。有两个可拆卸的镜头，第一个有130个视角，第二个用于肖像模式。可拆卸镜片可以进行高级消毒。双向 DICOM能够自动上传患者数据，可以缩短时间；不需要手动输入数据。检查结束后，数据将被存储以供长期存档。其他区别在于设备的人体工程学。

其余数据是使用 Phoenix ICON系统获得的。在Phoenix ICON系统开发期间，设计人员试图主要处理照明的技术解决方案，以获得具有高分辨率（1240×1240像素）的足够对比度的图像，即使在对视网膜的高色素部分进行成像的情况下也是如此。Phoenix ICON使用一个传感器，可以在一个镜头的100个视场内，在较低的光负荷下获得被检查儿童的高质量图像。与Clarity RetCam 3相比，Phoenix ICON相机的手柄明显更小更轻，集成的环形灯具设计（直射照明）可以在较少散瞳质量的情况下提供足够的图像质量（瞳孔放大5.6毫米）。Phoenix ICON手柄的人体工程学、无需重型刚性光纤电缆以及无需更换镜头即可实时放大的能力也对最终的图像质量产生了积极影响。上述三种数字成像系统的比较如（表4）所示，为清楚起见，上述眼底照相机的示例如图2 所示。

表4：成像设备的参数比较
在这里插入图片描述

在这里插入图片描述

下一部分将重点介绍与前述数据集相关的软件应用。该应用程序是在之前描述的ROP数据集的基础上开发的，将在“数据记录”这一节中，详细描述这个软件应用。

3.3 视网膜病变分割工具–ReLeSeT

本节介绍用于处理和分析视网膜病变（通常是出血）的软件工具，该工具与视网膜图像数据库一起发布。该工具可用于与视网膜病变相关的任何视网膜疾病，可以广泛应用于各种视网膜病变的分割分析。

如图3 所示，该软件模型包括视网膜病变识别、建模和特征提取三个部分。首先，输入的视网膜图像会被加载到软件中；其次，进行图像预处理（如式(1)）以增强图像的质量；然后，使用“无边缘主动轮廓模型（active contour model without edges）” 来识别视网膜病变(25)。最后，提取一系列几何特征，以量化和客观化选定的视网膜病变的大小、形状等属性。

在这里插入图片描述
图3：视网膜病变识别的过程：（A）提取红色和绿色通道，（B）图像预处理，包括自适应直方图均衡化和双边滤波，（C）基于主动轮廓模型的视网膜病变分割（400次迭代），以及（D）视网膜病变分割的逐渐演变。

目前，在婴儿视网膜病变分割方面的图像分析研究相对较少。研究(37) 使用了一个来自 847 名新生儿、包含 1543 张视网膜图像的数据集，这些图像来自 847 名新生儿。该研究采用了基于U-Net的架构来自动分割视网膜血管、视盘和视网膜病变。但是，该方法是专门为 Clarity RetCam 3 图像设计的，因此对于其他视网膜成像设备（如 Phoenix ICON 或 Natus RetCam Envision）不一定适用。
与现有研究不同，本文提出的研究方法能够对来自不同视网膜成像设备的图像进行视网膜病变分割。本研究的目标是对视网膜图像中的特定病变进行单独分割，而不是对整个视网膜进行统一的分割处理。该方法还包括各种视网膜图像的几何特征和强度特征的提取。该方法不局限于某一设备，能够处理来自不同设备（如Clarity RetCam 3、Natus RetCam Envision和Phoenix ICON）的图像。因此，ReLeSet 对于从各种视网膜图像中分割视网膜病变具有更好的鲁棒性。

3.4 视网膜病变分割的软件工具

后续过程旨在平滑视网膜图像并减少图像噪声，以改善视网膜病变（如出血等）的分割效果。

此任务组合使用自适应图像直方图均衡化（Adaptive Histogram Equalization）和双边滤波器（Bilateral Filter）(24)，以介绍视网膜病变区域内的强度峰值和图像噪声，以实现更好的分割性能。

假设视网膜图像为 8位 RGB 格式，由 3 维矩阵表示，实验发现绿色和红色通道组合最能反映视网膜病变的表现。因此，使用这两个通道的组合进行进一步的处理。双边滤波器是一种非线性的边缘保持平滑滤波器，旨在消除视网膜病变区域内的强度变化，能够保留边缘（如血管边缘），同时减少噪声和不规则亮度变化。

双边滤波器由以下公式定义：

在这里插入图片描述
其中， $W_p$ 表示归一化项，定义如下：

其中， $I^{fit}$ 表示滤波后的视网膜图像， $I$ 是初始的视网膜图像，坐标 $x$ 位于图像域的中心，其中 $x_i \in \Omega$ 代表另一个像素。范围核 $f_i$ 用于平滑像素强度的差异，空间核 $g_s$ 用于平滑像素坐标的差异。

视网膜病变识别的最后也是最重要的步骤，是应用活动轮廓模型。这是一种基于区域的图像分割技术，由用户初始化（初始种子点），通过迭代过程自动调整一个连续曲线的形状，实现图像分割。本项目采用了无边缘活动轮廓方法，可以不依赖于图像中的边缘信息，而是依赖于图像的全局区域信息，因而特别适合处理没有明确边界或边缘的病变区域。整个分割过程是自动进行的，无需用户干预。用户只要设置迭代次数即可。

所提出的分割模型通过封闭曲线来识别视网膜上的个别病变。模型可以根据视网膜病变区域的几何形状调整活动轮廓。最后，该模型能够计算病变区域的几何特征，如病变区域的面积、周长、长轴、短轴和强度分布，可以量化分析视网膜病变的严重程度或病变的特征。

3.5 模型的评估

在本节中，对所提出的视网膜病变分割模型进行了评估。模型识别过程的活动轮廓由迭代次数驱动，迭代次数表示活动轮廓可以改变其几何特征以适应视网膜病变的多个步骤。这里使用了 400次迭代的分割性能测试，这是计算分割时间和分割性能之间的折衷。当使用较低的迭代次数（在分割下）时，活动轮廓无法很好地分割视网膜病变的几何特征。但是使用过多的迭代次数时，会出现过度分割，活动轮廓有时会扩散到视网膜病变区域之外。为了客观地评估分割性能，对所提出的软件工具进行了手动分割测试（由临床眼科专家完成的地面真实数据）。除了众所周知的敏感性、特异性和准确性外，以下参数用于客观评估。

均方误差 (Mean Squared Error, MSE) ，是一种常用的基于参考标准的方法，用于评估图像分割精度。在二维图像中，假设图像的分辨率为 M × N，每个像素的坐标可以表示为 (i, j)，那么地面真值（X）与分割图像（Y）之间 MSE的计算公式如下：
相关系数 (Correlation coefficient, Corr) ，是一种衡量两个变量之间线性依赖关系的统计方法。在图像分割任务中，它通常用于评估分割结果与地面真值（Ground Truth）之间的相似度。相关系数值的范围在 [0, 1] 之间，0 表示没有线性相关性，1 代表完全线性相关。
Sørensen–Dice Coefficient (DC)，是用于衡量两个样本集合（如分割区域和地面真值区域）相似度。它常用于图像分割任务中，用于计算分割结果和地面真值之间的相似性，特别适用于评估分割任务中的区域重叠。计算公式如下：

相关系数（correlation coefficient）和Sørensen–Dice系数（DC）在图像分割评估中的应用。相关系数值的范围在 [0, 1] 之间，0 表示没有线性相关性，1 代表完全线性相关。DC的值也在 [0, 1] 之间，0 表示完全不重叠，1 表示完全一致。

图像预处理（如平滑）对分割结果至关重要，可以去除加性噪声，平滑强度峰值。在这项研究中，预处理步骤使用了双边滤波器（Bilateral filter）和中值滤波（Median filtering）两种滤波方法来测试分割性能（39），结果如表5，6 所示。评估过程中，使用了 2 位眼科专家的手动标注作为地面真值（），对模型的分割性能进行评估。

并计算了相关系数和DC来量化分割结果与手动标注之间的一致性。

可以假设，图像预处理（平滑）是分割的关键步骤，因为它可以去除加性噪声并平滑突然的强度峰值，使用双边滤波器在中值滤波的对比度下测试分割性能39（表5,6）。由两位独立的眼科专家根据基于手动轮廓的地面真实分割对分割性能进行了评估，并对两位专家的分割结果进行了平均。

表5：基于 Clarity RetCam3 设备的视网膜病变分割性能评估，使用中值滤波器和双边滤波器
在这里插入图片描述

表6：基于 Phoenix ICON 设备的视网膜病变分割性能评估，使用中值滤波器和双边滤波器
在这里插入图片描述

将视网膜病变的图像分为两组：验证数据集和测试数据集。分别对Clarity RetCam 3和Phoenix ICON系统的视网膜病变图像进行了测试（表5、6）。在验证阶段，随机选择了 30张带有视网膜病变的图像；在测试阶段，每种影像设备选择了 100张带有视网膜病变的图像。
使用 MSE、相关系数和DC系数，评估中值滤波器和双边滤波器在分割性能上的表现。
平滑滤波器使用了以下设置：中值滤波器的核大小为 5×5，双边滤波器的设置为： $\sigma_r=3$ ，表示滤波器内核的强度（即颜色差异）的标准差； $\sigma_s=0.1$ 表示滤波器的空间（即图像位置的差异）的标准差（见式（1））。
由于 Clarity RetCam 3 和 Phoenix ICON 系统产生的图像在强度特征上有显著差异，尤其是在视网膜血管、视盘和视网膜病变的强度特征明显不同，对 Clarity RetCam 3 和 ICON Phoenix 系统的视网膜图像的双边和中值滤波器性能进行了比较分析。Natus RetCam Envision 系统的图像与 Clarity RetCam 3 系统的图像在空间图像形成和强度特征上非常相似，因此并未进行该系统的测试性能比较。

从单个视网膜病变测试的平均结果来看，很明显，中值和双侧滤波器的评估参数存在显著差异。对于所有评估参数，双侧滤波器在最小化MSE、最大化相关系数和Sörensen Dice系数方面都取得了更好的性能。此外，验证和测试阶段之间没有显著差异（表5,6）。这表明在ReLeSeT中使用双边滤波器进行视网膜病变分析是合理的。

此外，还对所提出的分割算法的分割性能进行了客观评估。为了进行测试，提供了从Clarity RetCam 3、Natus RetCam Envision和Phoenix ICON 数据集中分割视网膜病变的方法。从成像系统Clarity RetCam 3（30张视网膜病变图像）、Natus RetCam Envision（30张黄斑病变图像）和Phoenix ICON（20张视网膜损伤图像）中随机选择总共80张视网膜病变的图像进行测试。这些视网膜病变的图像由两位独立的眼科专家一致标记；他们的结果被平均并作为地面真实数据。基于地面真实数据，对分割性能进行了评估。表7 提供了参数灵敏度、特异性、准确性、MSE、Corr和DC的平均结果、置信区间（CI）和标准误差（SE），用于评估地面真实数据与所提出算法之间的相似性水平。所有测试均在 $\alpha=0.05$ 的显著性水平上进行。

表7：视网膜病变分割的性能评估，其中 CI 是置信区间，SE 为标准误差。
在这里插入图片描述

根据客观评估（表7），可以客观地评估三种视网膜成像系统 Clarity RetCam 3、Natus RetCam Envision和Phoenix ICON 之间的分割性能差异。基于所提供的比较，可以得出结论，Clarity RetCam 3 图像的分割在特异性、MSE、相关系数和Sörensen Dice系数的表现稍好。另一方面，只有Phoenix ICON 的参数灵敏度更好。

为了更好地了解地面真实数据与模型的分割性能，在图 4 中用以下方式呈现分割结果：（A）原始图像，（B）具有视网膜病变分割的原始图像，以及（C）将分割与地面真实数据叠加。

在这里插入图片描述
图 4：Clarity RetCam 3（上）、Phoenix ICON（中）和RetCam Envision（下）的视网膜病变分割示例：原始图像（A）、具有分割结果的原始图像（B）以及由新生儿眼科专家制作的分割与地面真实值的叠加（C）。

最后，计算成本在图像分割任务中的评估，尤其是考虑到迭代次数对分割精度和计算开销的影响，结果如表8所示。迭代次数与计算要求有关。对于较大的病变区域，这可能是至关重要的，因为需要选择更多的迭代次数，以更高的计算成本可靠地识别整个损伤区域。计算成本分析仅在两种 PC 配置的 CPU上进行。为了测试迭代的影响，两种 PC 配置进行了50、100、200和400次迭代，计算平均计算时间、置信区间和标准误差。表8提供了对比测试的平均值、置信区间和标准误差。所有测试均在显著性水平α=0.05 上进行。

PC配置1：Intel Core i7-10875H, RAM 16GB DDR4, NVIDIA GeForce RTX 2070 Super Max-Q 8GB。
PC配置2：Intel Core™ i7-8550U, RAM 8GB DDR4, Intel® UHD Graphics 620。

表 8 ：计算成本评估结果。两种 PC 配置、使用不同迭代次数的平均值、置信区间和标准错误。其中 CI 是置信区间，SE 为标准误差。

如本节所述，所提出的软件 ReLeSeT旨在自动从可变视网膜图像中分割出选定的视网膜病变。如表7所示，这证明了使用 ReLeSeT 进行可变视网膜图像处理是通用的。
另一方面，应该考虑这种分割过程的一些局限性，以提供对分割过程的复杂和客观的看法。ReLeSeT对选定的病变进行分割，并根据要求进行进一步分析，专家通常专注于跟踪特定的病变。该过程如图4所示，其中仅提取了一个选定的病变，并将其与临床新生儿眼科医生标注的真实数据进行了比较。机器学习可能具有自动提取所有病变的潜力。这一领域的未来发展方向是什么？
另一个重要问题是活动轮廓参数的设置，特别是迭代次数。在这里，所有的分割测试都提供了400次迭代，这似乎是分割性能、计算时间和视网膜病变的可变表现之间的一个很好的折衷。然而，病变的几何特征，如大小或周长，可能会影响分割性能。在这种情况下，较小的病变通常可以很好地分割，迭代次数很少；相反，较大的病变需要更多的迭代。如果选择了改进迭代次数，则性能可以通过欠分割/过分割来确定。一个重要的问题也是视网膜病变的强度分布。在这里，应该考虑到病变在整个病变区域上可能没有均匀的强度分布，病变的边界也不一定是一致的。这些现象通过图像预处理得到了部分补偿。
在处理来自不同分辨率和强度分布的各种模态的视网膜图像时，应该考虑这些问题。最后，计算成本应被视为一个关键的分割属性。在表8中，可以观察到不同迭代次数的计算成本存在显著差异。从这一点来看，当使用较少的迭代次数时，分割性能得到了优化。由于计算成本取决于图像分辨率，因为活动轮廓与图像能量一起工作，因此Clarity RetCam 3和Phoenix ICON之间存在显著差异，因为这些设备具有不同的分辨率。为了降低计算成本，建议分析视网膜图像的一部分，其中显示了感兴趣的视网膜病变，而不是整个图像区域。分割性能和局限性客观地表明了视网膜病变分割的可能性，同时也为机器学习用于视网膜病变分析开辟了未来的可能性。

3.6 ReLeSeT 的安装和使用

在本节中，提供了用于视网膜病变分析和量化的分割工具的安装和使用。

该工具允许对视网膜病变进行分割、分析和特征提取，并自动保存处理结果。

对分析的视网膜病变进行区域提取。
计算长轴和短轴、周长、强度谱的中位数标准差。
记录保存：以单色和RGB格式存储的原始图像，预处理后的视网膜图像，视网膜病变分割后的二值图像，分割区域的强度信息。
所有记录都以单元格数组的形式自动保存在变量中，文件名为：“name_Features_results.mat”，其中 “name” 表示处理后的视网膜图像的名称。

整个分割过程是一个独立的应用程序，通过执行文件 ReLeSeT.exe 来运行。推荐使用 MATLAB Runtime 9.10 或更高版本。
分割参数，包括迭代次数、视活动轮廓的核大小及初始轮廓半径，都在文件 “segmentation_parameters.xlsx” 中设置。
分割完成后，结果会被保存并自动可视化。在原始视网膜图像上可视化分割结果，并以直方图的形式绘制分割病变的强度谱分布。

4. 数据记录

该数据集已经发布在 Figshare（参考文献 40）、Kaggle（参考文献 41）和 GitHub（参考文献 42），包含图像及其数据摘要（Excel格式）

该数据集的初始发布日期为 2022-11-11。任何未来的数据库更新都会带有最新的发布日期。
分割完成后，结果会被保存并自动可视化。在原始视网膜图像上可视化分割结果，并以直方图的形式绘制分割病变的强度谱分布。

4.1 数据集的结构和内容

该数据集包含188名患者的6004张图像。这些图像记录了同一患者在不同时间点的视网膜检查，因此可以用于研究病变的进展情况。

数据集的图像被存储在三个不同的根文件夹，以适应不同的使用需求：

按患者ID组织的文件夹 (“images/”)
根目录为 “images/” ，其中包含以患者ID（Identification）命名的文件夹。每个患者文件夹中包含不同检查时间点的子文件夹（系列）。每个子文件夹存储了同一天对该患者拍摄的所有图像。
这种存储方式便于研究人员或教育人员查找特定患者在不同时间点的影像数据。
所有图像存储在同一文件夹 (“images_stack/”)
根目录为 “images_stack/”，包含所有 6,004 张图像，没有按患者或检查日期进行分类。
这种存储方式适合数据处理和机器学习，所有图像在同一个文件夹中，便于批量处理，而无需解析文件夹结构。
无标签图像 (“images_stack_without_captions/”)
结构与 images_stack/ 相同，即所有图像存储在同一个文件夹中，但去除了图像中的注释/标签（caption/label）。有关更多信息，请参阅技术验证一节。

所有图像都采用 .jpg 文件格式。
尽可能使用无损压缩（loss-less compression），以确保图像质量。由于某些设备不支持 PNG 格式，因此选择 JPG 提高设备兼容性。这种格式选择更适合机器学习和数据处理，便于在不同系统中读取和处理。

该数据集主要包含后段眼底（posterior segment）图像，用于视网膜病变分析。
删除了部分低质量图像被删除，以提高整体数据质量。但也有部分低质量图像被保留，以增加数据集的多样性。
成人患者在检查过程中能够配合医生，因此拍摄的图像质量通常较高。婴儿患者无法配合检查，导致图像质量不稳定

所有图像文件的名称遵循预定义格式，文件名按顺序描述了一系列参数。文件名中的参数用下划线（_）分隔，括号内的缩写（[ ]）代表参数名称的缩写，确保命名规范且易于识别。

在这里插入图片描述

所有患者信息被汇总存储在Excel文件（infant_retinal_database_info.xlsx）中。所有信息都经过匿名化处理，无法关联到特定患者。

例如，患者（001_F_GA41_BW2905_PA44_DG2_PF0_RC3_S01_1）是一位妊娠期（GA）41周的女性（F），出生体重（BW）2905克，出生后孕龄（PA）44周（所有图像均在该孕龄拍摄），诊断（DG）类别 2（出血，正常，无 Plus），图像由Clarity RetCam 3 拍摄，系列编号（S）1。诊断类别（DG2）详见表 10。

请注意，诊断类别存在于任何文件的名称中。然而，在同一个系列（Series）中的所有图像，其出生后受孕龄（Postconceptual Age, PA）都是相同的，但在不同系列中可能代表相同患者在不同条件下拍摄的图像。

4.2 数据集的参数描述

如前所述，该数据集由 188名患者的 6004张图像组成，并附有患者的信息。

参数名（变量）及其取值详见表 9。图像数据集附带了包含所有信息的Excel格式文件（infant_retinal_database_info.xlsx）。患者和图像信息也编码在图像名称中。

表9：患者信息摘要，变量、数据类型和可能的取值。
在这里插入图片描述

患者ID
患者 ID 是唯一的标识符，但不能追溯到特定的患者。数据集是完全匿名的，任何人甚至患者都无法将图像和数据与特定的患者关联。ID是一个整数，新数据将按时间顺序排列。

性别
该值取自妇产医院的患者材料。该数据集包含188名患者的图像，94名男性和94名女性患者。数据集在性别上是平衡的。视网膜图像中的女性：男性比例为 3081:2923，如图5所示。

在这里插入图片描述
图5：按性别统计的患者和视网膜图像的分布。

孕龄

孕龄是指患者出生时的年龄，单位为婴儿出生时的周数；该值取自妇产医院的患者材料。
孕龄是整数，以周为单位。平均胎龄为33岁。标准偏差为5。患者的最小孕龄是 23周，13名患者的最大孕龄是 41周。图6展示了患者数量的分布以及与胎龄相对应的视网膜图像。

在这里插入图片描述
图6：按孕周统计的患者和视网膜图像的分布。

出生体重

出生体重是指患者出生时的体重；该值取自妇产医院的患者材料。
平均出生体重为2017克，标准差为1024克，最小体重为480克，最大体重为4080克（图7）。

在这里插入图片描述
图7：按出生体重统计的患者和视网膜图像的分布。

出生后受孕龄（PA）

每个图像系列的时间点由出生后受孕龄（PA, Postconceptual age）来表示，因为该系列的所有图像都是在相同的时点拍摄的。出生后受孕龄（PA）定义为胎龄（gestational age）加上实际出生后时间（chronological age），是单位为周的整数(文献43)。
最早的检查是在出生后受孕龄 30周进行的。最晚的检查时间是出生后受孕龄113周，这不是患者的第一次检查，但该系列检查是在这个年龄段进行的。图8展示了不同出生后受孕龄下的图像分布情况。

在这里插入图片描述
图8：按出生后受孕龄（PA）统计的患者和视网膜图像的分布。

诊断信息

数据集中的所有诊断信息都是分类数据（Categorical data），并且采用整数类型来编码，详见表10所示。

数据集中没有表10 中所列的 ROP-4A, ROP-4B 和 ROP-5 这几个类别的图像，这并不是一个错误，只是没有收集到这些类别的样本。这些诊断类别仍然被包括在数据中，但在当前版本中没有图像，但未来会考虑增加相关图像。为了确保数据的统一性和未来的兼容性，新的版本发布时应保持现有标签的定义不变。

表10：患者信息摘要，变量、数据类型和可能的取值。
在这里插入图片描述

两位眼科专家负责诊断和判断是否存在 plus（即ROP病变的加号）。在诊断结果存在差异的情况下，将会请求第三位专家参与讨论，并达成共识。大多数情况下，前两位专家的诊断是一致的，只有约 4% 的案例需要第三位专家参与。

请注意，诊断结果可能会随着时间的推移而变化，因此来自同一患者的不同检查序列（series）可能会有不同的诊断结果。但对于大多数患者，所有系列（不同时间检查）的诊断都是相同的。一个患者的图像序列包含了所有该患者的检查图像，因此可以从这些图像中得到诊断结果。但由于诊断可以随时间变化，不同的检查序列可能对应不同的诊断结果，因此无法将表 10 中的患者数量直接求和。患者在不同序列中的诊断可能不同，因此表 10 中的患者数量合计与数据集中的实际患者数量不完全一致。

图9展示了各个诊断类别对应的视网膜图像分布。注意，由于该图并没有使用患者诊断结果的分布，因为诊断可能会随着时间变化，所以不能将患者分布直接统计到诊断类别上。

数据集中 DG0 的比例很高，因此从某种角度来看，生理性图像的数量与其余图像的比例并不理想。但这个数据集对于识别健康者很有价值：如果我们能够识别出健康者，那么其他的患者可以视为患病的。许多疾病仅通过图像是无法识别的，因为它们在视网膜上的表现相同或非常相似，所以分辨出健康者与患病者是很有价值的。这也可以作为年轻专家的学习资源。

在这里插入图片描述
图9：按诊断类别统计的患者和视网膜图像的分布。

加号形态（plus form）

加号形态（plus form）是任何ROP阶段都可能出现的症状，但只有在诊断为 ROP 的情况下才会出现，因此其发生频率并不高。该变量是一个整数类型，具有三种可能的值：0、1 或 2。

图10 显示了具有加号形态的患者数量和视网膜图像。数据集中没有观察到预加号形态（pre-plus）。

根据加号形态统计患者的分布可能会造成混淆，因为非正常加号（PF2）的患者在最初都诊断为正常加号（PF0），因此这名患者被重复计算——既是 PF0患者，也是PF2患者。关于预加号（pre-plus）和加号（plus）的定义是模糊的，因此 pre-plus 患者也可能会被包含在 plus 患者部分。所有其他数据集中，关于预加号（pre-plus）和加号（plus）的统计，也存在类似的局限性。所有诊断为非正常加号（PF1 和 PF2）的患者都被推荐接受治疗，如激光治疗或注射治疗，其中使用的活性物质为雷珠单抗（商标名Lucentis）。

与诊断 plus 的方式相同，是由两名眼科专家确定加号形态。如果诊断结果不同，则与第三位专家进行讨论并达成共识。

在这里插入图片描述
图10：按诊断的 Plus 形式统计的患者和视网膜图像的分布。

拍摄设备

用于拍摄图像的设备及其参数在“设备描述”中介绍。该变量为设备类别，整数类型。对于某一位患者，所有的检查都是使用相同的设备进行。

按影像设备划分的患者和视网膜图像的分布如图11 所示。

在这里插入图片描述
图11：按影像设备统计的患者和视网膜图像的分布。

系列编号

系列编号(Series) 可以被认为是冗余的变量，因为系列可以从孕周中识别出来。然而，在一周内可能进行多次检查，因此孕周并不是每次检查患者的唯一标识，因此添加了系列编号作为变量。系列编号是分类数据，类型为整数。

大多数患者（140名患者）被观察多次，即有些患者在多次就诊中获得了多个系列的图像，详见表10中的系列数量。图12显示了按系列编号排序的图像数量。

在这里插入图片描述
图12：按系列编号统计的患者和视网膜图像的分布。

对参数描述的小结

在表11中，列出了该数据集的各个变量或参数，说明了它们的形状（数组维度或数据类型）、基本分类（可能是变量的分组或不同的数据类别）。对于数值型变量，还提供了它们的基本统计值。

*表11：变量概览：形状，分类和统计值
在这里插入图片描述

5. 技术验证

这些图像和患者数据来自真实的观察数据。从任何角度来看，都没有进行过滤或选择。

为了评估图像质量和未来的使用情况，下面介绍对于所有三种设备的随机图像的图像增强的基本方法。

患者数据的图像是由标准化的视网膜相机创建的；请参阅“设备说明”一节。使用的设备以标准化的jpg格式生成结果，大多数图像阅读器平台都可以读取。请注意，视网膜摄像头会在屏幕角落的黑色区域打印一些信息，例如强度值。这些细节是之后快照图像的一部分。通过用黑色矩形替换标题，从图像中删除了这些标题。相机的软件总是手动黑掉眼底图像的外部区域。因此，替换不会改变图像。在更换过程中，眼底图像从未被触碰过。

由于数据集中的每个图像都是标准化的jpg格式，因此视网膜图像可以通过许多图像处理软件进行处理。例如，视网膜图像的技术验证是通过使用ReLeSeT（见第节视网膜病变分割工具-ReLeSeT）和所呈现的视网膜图像来证明的，该工具在Matlab软件中实现，并进一步提出了图像增强方法。

5.2 图像增强

眼科医生通过肉眼观察视网膜图像中的结构，据此作出诊断，有时这些结构很难通过肉眼观察到。通过图像增强可以使一些结构更加清晰，有助于计算机辅助诊断（45,46,47）。特别地，早产儿在拍摄视网膜图像时，由于无法配合和常常出现不安或移动，往往会造成图像模糊或不完整。在这种情况下，视网膜图像并不完美，可能使正常的诊断变得困难。图像增强方法能够对这些不清晰的图像进行处理，帮助医生从中提取有效的信息，从而进行正确的诊断。

改进（调整）后的数字图像可以帮助从业人员或学生识别眼底图像中的关键结构，做出更精确的诊断。此外，图像增强方法的成功应用为数据集在图像处理领域的进一步应用提供了技术验证，如机器学习、图像增强、计算机辅助诊断等。因此，对所有三种设备的所有图像都进行了图像增强方法的测试。从每个设备中随机选择一张图像，图13-15(a) 显示的是设备拍摄的原始图像。

伽马校正

第一种图像增强方法是伽马校正，即增加/减少亮度值。该方法非常有用，因为东亚人、印度雅利安人、亚洲人和非裔美国人的视网膜图像更暗，难以检查，甚至更难拍摄眼睛后部的照片（48）。图13-15(b) 显示了应用文献（49）提出的亮度增强方法的结果。该方法通过几何平均值计算每个像素的平均亮度，记作 b。作者定义了阈值 bmin，如果图像的平均亮度低于 bmin，则通过简单的线性图像转换来增加亮度。或者，可以使用这种转换来减少亮度并标准化输出。

固定纵横比变换方法，通常作为机器学习方法的标准化输入。具体步骤是：裁剪掉图像的黑色边缘，然后创建一个圆形遮罩，半径为裁剪图像宽度或高度的最小值的一半（保证裁剪后的图像始终是正方形）。该方法确保图像的纵横比不发生变形，并且允许将图像调整为固定的宽高比例，便于后续的处理和分析，特别适用于机器学习模型的训练输入。
此外，还应用高斯平滑滤波改变了眼底图像的颜色值，增强那些难以看见的细节。通过在X轴上应用标准差为15的高斯滤波，再按式 (5) 与裁剪图像通过加权和的方式进行图像融合，既保持了原始图像的结构，又增强了图像的可视性，帮助提高后续分析的准确性。
在这里插入图片描述
采用参数 α=5、β=-5和 γ=128 进行测试，效果良好，融合图像如图13-15© 所示。这种转换使输出与原始输入的颜色不同，但显著增强了所有结构。请注意，这里在高斯平滑之前使用了圆形裁剪，但高斯平滑也可以在没有圆形裁剪的情况下使用。

自适应直方图均衡（CLAHE）

第一种图像增强方法采用限制对比度自适应直方图均衡化方法（Contrast Limited Adaptive Hitogram Equalization, CLAHE）方法（50）。

CLAHE 是一种自适应直方图均衡化技术，基于像素邻域的灰度分布进行直方图变换处理来调整图像的对比度，使暗部分更暗，亮部分更亮，可以针对图像局部区域的细节增强局部对比度。这一特性在婴儿眼底图像中非常重要，因为婴儿的视网膜尚未完全发育，CLAHE能够帮助更好地辨别图像中的细节。医学上，CLAHE能够增强眼底图像中像动脉瘤这样的病变结构，同时使识别视网膜中的血管、病变、视神经盘等物体更容易识别。

CLAHE可以直接应用于单通道图像，如灰度通道或绿色通道，其中每个像素由0~255的强度值表示，见图13-15(d)(e)。注意，图13-15(d) 是灰度图像，但采用的是 Viridis 色图来显示，使图像中的结构更加易于区分。

对于RGB图像，直接应用CLAHE比较复杂，因为RGB图像由三个独立的颜色通道（红色、绿色、蓝色）组成。为了应用CLAHE增强亮度，图像首先被转换为HSV色彩空间，其中通道 V 的值表示亮度。然后，仅对通道 V 应用 CLAHE算法，以增强图像的亮度。最终，处理后的图像会被转换回RGB格式，结果展示在图13-15(f)中。这种方法的好处是，在HSV空间中，亮度（V通道）与颜色（H和S通道）是分开的，因此可以单独调整亮度，而不影响图像的颜色平衡。

颜色通道分离

最后一种简单的图像增强方法，就是分离RGB通道。通过将图像分成独立的红、绿、蓝三个颜色通道，可以有选择性地在绿色通道进行图像增强，因为在眼底图像中，结构（如视网膜血管等）的细节在绿色通道中的对比度较高。
这种方法也为深度学习技术的应用提供了潜力，因为许多深度学习模型通常需要三通道输入（RGB），将图像分离为 RGB 通道并用于深度学习模型可能会带来优势。
在某些计算机视觉应用中，采用交换红色和蓝色通道将 RGB 格式转换为 BGR 格式，但在此场景下并未能有效改善图像的视觉效果，如图13-15(g) 所示。

上述所有的图像增强方法都是在 Python 3.9 中使用OpenCV 4.6.0库实现的。该组合不仅适用于传统的图像处理任务，还能与机器学习方法兼容，支持将增强后的图像用于训练模型。

该数据集已被证明可以用于多种应用，包括图像增强和机器学习任务。这意味着，除了图像增强，未来还可以将这个数据集用于其他更高级的应用，如自动化诊断、疾病预测等。

在这里插入图片描述
图13：对1号设备拍摄的视网膜图像进行图像增强。

在这里插入图片描述
图14：对2号设备拍摄的视网膜图像进行图像增强。

在这里插入图片描述
图15：对3号设备拍摄的视网膜图像进行图像增强。

6. 使用说明

我们鼓励读者在本数据集上拓宽图像增强（49）和数据分析的方法，其中一些方法可以在 GitHub（45,49,52,53）上找到。

本数据集已准备好用于机器处理。所有数据分析都是用 Python 语言实现的，使用标准库进行数据处理和分析，如Pandas等。

本研究提供了 ReLeSeT 软件（54），一种从视网膜图像中自动处理视网膜病变的工具，目的是识别所选病变并进一步提取特征。ReLeSeT 软件可用于本研究的所有数据集，包括 Clarity RetCam 3、Natus RetCam Envision 和 Phoenix ICON。

代码
本数据集可在Figshare、Kaggle和GitHub 获得，并附有xlsx格式的匿名患者信息。
我们使用 Python 3.9 版本进行数据分析和验证。
已发布数据集的发布时间为2023年4月4日。可能的数据库更新将始终与发布日期一起发布。

在这里插入图片描述

收到日期：2023年5月2日
接受日期：2024年5月23日
出版日期：2024年7月23日

7. 附录

局部高斯分布拟合方法。
它作为一种隐式活动轮廓模型应用于图像分析，尤其是在医学图像分割任务中。隐式活动轮廓模型是一种自动分割方法，通过根据图像的局部强度分布来逐步优化分割边界。
水平集方法。
水平集方法是一种用于图像分割的数学模型，广泛应用于医学图像处理、物体轮廓提取等任务。
梯度下降流
通过梯度下降算法，可以逐步调整分割阈值和图像特征的标准差等参数，以最小化能量泛函，实现最佳的图像分割或特征提取。

8. 参考文献

Ludwig, C. A., Chen, T. A., Hernandez-Boussard, T., Moshfeghi, A. A. & Moshfeghi, D. M. The epidemiology of retinopathy of prematurity in the united states. Ophthalmic surgery, lasers & imaging retina 48, 553 (2017).
Thomas, K. et al. Retinopathy of prematurity: risk factors and variability in canadian neonatal intensive care units. Journal of neonatal-perinatal medicine 8, 207–214 (2015).
Khan, S. M. et al. A global review of publicly available datasets for ophthalmological imaging: barriers to access, usability, and generalisability. The Lancet Digital Health 3, e51–e66 (2021).
Fusek, R. Pupil localization using geodesic distance. In Advances in Visual Computing: 13th International Symposium, ISVC 2018, Las Vegas, NV, USA, November 19–21, 2018, Proceedings 13, 433–444 (Springer, 2018).
Ryan, M. C. et al. Development and evaluation of reference standards for image-based telemedicine diagnosis and clinical research studies in ophthalmology. In AMIA annual symposium proceedings, vol. 2014, 1902 (American Medical Informatics Association, 2014).
Imaging and informatics in retinopathy of prematurity. https://i-rop.github.io/index.html (accessed: 2021-09-16).
Shahrawat, M. Understanding the biomarkers of retinal disease using deep learning. Ph.D. thesis, Massachusetts Institute of Technology (2019).
Ataer-Cansizoglu, E. et al. Computer-based image analysis for plus disease diagnosis in retinopathy of prematurity: performance of the “i-rop” system and image features associated with expert diagnosis. Translational vision science & technology 4, 5–5 (2015).
Worrall, D. E., Wilson, C. M. & Brostow, G. J. Automated retinopathy of prematurity e detection with convolutional neural networks. In Deep learning and data labeling for medical applications, 68–76 (Springer, 2016).
Yildiz, V. M. et al. Plus disease in retinopathy of prematurity: convolutional neural network performance using a combined neural network and feature extraction approach. Translational Vision Science & Technology 9, 10–10 (2020).
Ding, A., Chen, Q., Cao, Y. & Liu, B. Retinopathy of prematurity stage diagnosis using object segmentation and convolutional neural networks. In 2020 International Joint Conference on Neural Networks (IJCNN), 1–6 (IEEE, 2020).
Walz, J. M. et al. The german rop registry: data from 90 infants treated for retinopathy of prematurity. Acta ophthalmologica 94, e744–e752 (2016).
Hong, E. H. et al. Nationwide incidence and treatment pattern of retinopathy of prematurity in south korea using the 2007–2018 national health insurance claims data. Scientific reports 11, 1–10 (2021).
Wang, J. et al. Automated retinopathy of prematurity screening using deep neural networks. EBioMedicine 35, 361–368 (2018).
Chiang, M. F. et al. Telemedical retinopathy of prematurity diagnosis: accuracy, reliability, and image quality. Archives of ophthalmology 125, 1531–1538 (2007).
Tian, P. et al. A severity score for retinopathy of prematurity. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 1809–1819 (2019).
Tong, Y., Lu, W., Deng, Q.-q, Chen, C. & Shen, Y. Automated identification of retinopathy of prematurity by image-based deep learning. Eye and Vision 7, 1–12 (2020).
Zhang, Y. Dnn classifier of wide-angle retinal images in computer-aided screening for rop, https://doi.org/10.6084/m9.figshare.6367685.v1 (2018).
Zhang, Y. et al. Development of an automated screening system for retinopathy of prematurity using a deep neural network for wide-angle retinal images. Ieee Access 7, 10232–10241 (2018).
Huang, Y.-P. et al. Deep learning models for automated diagnosis of retinopathy of prematurity in preterm infants. Electronics 9, 1444 (2020).
Bhatkalkar, B., Joshi, A., Prabhu, S. & Bhandary, S. Automated fundus image quality assessment and segmentation of optic disc using convolutional neural networks. International Journal of Electrical & Computer Engineering (2088-8708) 10 (2020).
Xu, C. L. et al. Telemedicine retinopathy of prematurity severity score (telerop-ss) versus modified activity score (mrop-acts) retrospective comparison in sundrop cohort. Scientific Reports 13, 15219 (2023).
Quinn, G. E. et al. Validity of a telemedicine system for the evaluation of acute-phase retinopathy of prematurity. JAMA ophthalmology 132, 1178–1184 (2014).
Tomasi, C. & Manduchi, R. Bilateral filtering for gray and color images. Sixth International Conference on Computer Vision (IEEE Cat. No.98CH36271) 839–846, https://doi.org/10.1109/ICCV.1998.710815 (1998).
Wang, L., He, L., Mishra, A. & Li, C. Active contours driven by local gaussian distribution fitting energy. Signal Processing 89, 2435–2447, https://doi.org/10.1016/j.sigpro.2009.03.014 (2009).
Phelps, D. L. Retinopathy of prematurity: history, classification, and pathophysiology. NeoReviews 2, e153–e166 (2001).
Visser, L., Singh, R., Young, M. & McKerrow, N. Guideline for the prevention, screening and treatment of retinopathy of prematurity (rop): guideline. South African Medical Journal 103, 116–125 (2013).
Wallace, D. K. & Wu, K. Y. Current and future trends in treatment of severe retinopathy of prematurity. Clinics in perinatology 40, 297–310 (2013).
Gole, G. A. et al. The international classification of retinopathy of prematurity revisited. Archives of ophthalmology (Chicago, Ill.: 1960) 123, 991–999 (2005).
El Din, Z. M. E., El Sada, M. A., Ali, A. A., Al Husseiny, K. & Yousef, A. A. R. Comparison of digital imaging screening and indirect ophthalmoscopy for retinopathy of prematurity. The Indian Journal of Pediatrics 82, 80–83 (2015).
Fierson, W. M. et al. Screening examination of premature infants for retinopathy of prematurity. Pediatrics 142 (2018).
Fierson, W. M. et al. Screening examination of premature infants for retinopathy of prematurity. Pediatrics 131, 189–195 (2013).
Good, W. V. Final results of the early treatment for retinopathy of prematurity (etrop) randomized trial. Transactions of the American Ophthalmological Society 102, 233 (2004).
Palmer, E. A. et al. 15-year outcomes following threshold retinopathy of prematurity: final results from the multicenter trial of cryotherapy for retinopathy of prematurity. Archives of ophthalmology 123, 311–318 (2005).
Timkovic, J. et al. A new modified technique for the treatment of high-risk prethreshold rop under the direct visual control of retcam 3. Biomedical Papers 159, 413–416 (2015).
Stahl, A. et al. Ranibizumab versus laser therapy for the treatment of very low birthweight infants with retinopathy of prematurity (rainbow): an open-label randomised controlled trial. The Lancet 394, 1551–1559 (2019).
Mao, J. et al. New grading criterion for retinal haemorrhages in term newborns based on deep convolutional neural networks. Clinical & Experimental Ophthalmology 48, 220–229 (2020).
Kubicek, J. et al. Detection and segmentation of retinal lesions in retcam 3 images based on active contours driven by statistical local features. Advances in Electrical and Electronic Engineering 17, 194–201, https://doi.org/10.15598/aeee.v17i2.3045 (2019).
Justusson, B. Median filtering: Statistical properties. Two-Dimensional Digital Signal Prcessing II: Transforms and Median Filters 161–196 (2006).
Timkovič, J. et al. Retinal image dataset of infants and rop. Figshare https://doi.org/10.6084/m9.figshare.c.6626162.v1 (2023).
Timkovič, J. et al. Retinal image dataset of infants and rop. Kaggle https://www.kaggle.com/datasets/jananowakova/retinal-image-dataset-of-infants-and-rop (2023).
Timkovič, J. et al. Retinal image dataset of infants and rop. GitHub https://github.com/JanaNowakova/Retinal-Image-Dataset-of-Infants-and-ROP.git (2023).
Stokowski, L. A. Age terminology during the perinatal period. Advances in Neonatal Care 5, 62 (2005).
Chiang, M. F. et al. International classification of retinopathy of prematurity. Ophthalmology 128, e51–e68 (2021).
Hasal, M. et al. Retinal vessel segmentation by u-net with vgg-16 backbone on patched images with smooth blending. In International Conference on Intelligent Networking and Collaborative Systems, 465–474 (Springer, 2023).
Kubicek, J. et al. Extraction of optical disc geometrical parameters with using of active snake model with gradient directional information. In Intelligent Information and Database Systems: 9th Asian Conference, ACIIDS 2017, Kanazawa, Japan, April 3–5, 2017, Proceedings, Part II 9, 445–454 (Springer, 2017).
Kubicek, J. et al. Retinal blood vessels modeling based on fuzzy sobel edge detection and morphological segmentation. In Biodevices, 121–126 (2019).
Rochtchina, E., Wang, J. J., Taylor, B., Wong, T. Y. & Mitchell, P. Ethnic variability in retinal vessel caliber: A potential source of measurement error from ocular pigmentation?—the sydney childhood eye study. Investigative ophthalmology & visual science 49, 1362, https://doi.org/10.1167/iovs.07-0150 (2008).
Hasal, M., Nowaková, J., Hernández-Sosa, D. & Timkovič, J. Image enhancement in retinopathy of prematurity. In International Conference on Intelligent Networking and Collaborative Systems, 422–431 (Springer, 2022).
Pizer, S. M. et al. Adaptive histogram equalization and its variations. Computer Vision, Graphics, and Image Processing 39, 355–368, https://doi.org/10.1016/S0734-189X(87)80186-X (1987).
Lakshmanan, V., Görner, M. & Gillard, R. Practical Machine Learning for Computer Vision (O’Reilly Media, Inc., 2021).
Hasal, M., Nowaková, J., Hernández-Sosa, D. & Timkovič, J. Image enhancement retinopathy of prematurity. GitHub https://github.com/JanaNowakova/Image_enhancement_retinopathy_of_prematurity (2022).
Hasal, M. et al.Retinal vessel segmentation by u-net with vgg-16 Backbone on patched images with smooth blending. GitHub https://github.com/MartinHasal/RetinaVesselSeg_tf (2023).
Varyšová, A., Kubíček, J. & Augustynek, M. Releset (retinal lesions segmentation tool). GitHub, https://github.com/alivar123/ReLeSeT-Retinal-Lesions-Segmentation.git (2022).
American academy of opthalmology - retinopathy of prematurity - asia pacific. https://www.aao.org/topic-detail/retinopathy-of-prematurity-asia-pacific (accessed: 2022-09-15).
American academy of opthalmology - retinopathy of prematurity - europe. https://www.aao.org/topic-detail/retinopathy-of-prematurity-europe (accessed: 2022-09-15).
American academy of opthalmology - retinopathy of prematurity - latin america. https://www.aao.org/topic-detail/retinopathy-of-prematurity-latin-america (accessed: 2022-09-15).
American academy of opthalmology - retinopathy of prematurity - middle east/north africa. https://www.aao.org/topic-detail/retinopathy-of-prematurity-middle-eastnorth-afric (accessed: 2022-09-15).
American academy of opthalmology - retinopathy of prematurity - sub-saharan africa. https://www.aao.org/topic-detail/retinopathy-of-prematurity-subsaharan-africa (accessed: 2022-09-15).
Murickan, T. et al. External validation of autonomous retinopathy of prematurity screening in the sundrop program. Investigative Ophthalmology & Visual Science 64, 268–268 (2023).
Wang, S. K. et al. Sundrop: six years of screening for retinopathy of prematurity with telemedicine. Canadian Journal of Ophthalmology 50, 101–106 (2015).
Wade, K. C. et al. Factors in premature infants associated with low risk of developing retinopathy of prematurity. JAMA ophthalmology 137, 160–166 (2019).
At a glance: Retinopathy of prematurity. https://www.nei.nih.gov/learn-about-eye-health/eye-conditions-and-diseases/retinopathy-prematurity (accessed: 2022-08-17).
Agarwal, K. & Jalali, S. Classification of retinopathy of prematurity: from then till now. Community Eye Health 31, S4 (2018).