Neural Networks Application for Accurate Retina Vessel Segmentation from OCT Fundus Reconstruction

这篇论文的结构包括以下几个部分：

1. 摘要：简要介绍了使用神经网络进行视网膜血管分割的研究背景和目的。
2. 引言：介绍了视网膜血管分割的重要性和现有方法的局限性，以及神经网络在该领域中的应用前景。
3. 相关工作：回顾了过去几年中与视网膜血管分割相关的研究成果，包括传统方法和基于神经网络的方法。
4. 方法：详细描述了本研究使用的五种神经网络架构，并解释了其实现原理。
5. 实验结果：介绍了实验设计、数据集、评估指标和结果，并对比了不同神经网络架构之间的表现差异。
6. 结论：总结了本研究所得到的结论，强调了神经网络在视网膜血管分割中具有优越性，并探讨了未来可能的应用方向。
7. 参考文献：列出了本文所引用的相关文献。

三种图像重建方法2.2
五种网络：UNet, IterNet, BCDU-Net, SA-UNet, and FR-UNet
六种评估方法：

论文翻译

神经网络在OCT眼底重建视网膜血管精确分割中的应用

摘要

近年来，神经网络在视网膜血管分割中的应用受到了广泛的关注。大多数与视网膜血管分割相关的研究都是基于眼底图像。在这项研究中，我们研究了五种神经网络架构，以准确地分割从3D OCT扫描数据重建的眼底图像中的血管。由于噪声和较低且不成比例的分辨率，基于OCT的眼底重建与彩色眼底照片相比质量要低得多。基于B扫描视网膜层的分割进行眼底图像重建。提出了三种重构变体，并将其用于神经网络血管检测过程中。我们使用24个3D OCT扫描的自定义数据集(由眼科医生进行手动注释)使用6倍交叉验证评估性能，并证明分割准确率高达98%。我们的结果表明，使用神经网络是一种很有前途的方法来分割视网膜血管从一个适当的重建眼底。

关键字

生物识别技术;视网膜血管分割;卷积神经网络;UNet;光学相干层析;眼底重建

引言

眼底摄影(2D)是一种常用于眼科的视网膜成像技术。它允许诊断和监测眼科疾病的进程，如视网膜病变，青光眼，或老年性黄斑变性。基于眼底图像的血管分割也经常被用于对齐多个视网膜图像，例如，在多次临床就诊期间，使用不同的设备甚至不同的成像方式，眼底摄影也可用于先进的生物识别系统。
另一种用于视网膜成像的设备是光学相干断层扫描(OCT)设备，它可以获得3D切片，从而对视网膜的各个层进行深入观察。所谓的b扫描可以用来重建眼底的图像。与眼底相机相比，使用OCT设备的优点是侵入性较小，即在图像采集时没有强照明(闪光灯)。
此外，分析视网膜的三维生物特征也有助于评估直接影响血管的眼病。全面的3D血管结构也有助于提高生物识别安全系统中个人识别的准确性。
眼底图像与OCT扫描重建图像的根本区别在于其分辨率。眼底图像在两个方向上具有相同的分辨率。OCT重建在垂直和水平方向上分辨率不同。详细信息可以在1.1节中找到。在基于OCT扫描的眼底重建中，一个重要的处理步骤是正确选择视网膜层的范围。此外，由于算法必须克服诸如散斑噪声、低/不均匀的数据分辨率和对比度以及血管在轴向交叉等图像处理问题，因此血管的自动分割并不常见。
文章中介绍的作者的主要贡献有:
1基于分割的b扫描重构选择;
2基于3D OCT扫描的特殊数据集的准备;
3评价各种神经网络对血管分割的有效性。

相关的工作

与通用分割方法一样，视网膜血管分割方法可以分为经典的图像处理方案和使用人工智能的方法。此外，应该注意的是，个别解决方案与收购类型有关。因此，眼底相机图像和基于三维OCT扫描重建的解决方案将分别讨论。

眼底图像中的血管分割

利用多个数据集进行了基于眼底图像的血管分割实验研究。如前所述，眼底相机图像利用了图像的高对比度和高分辨率。手动参考分割(所谓的ground truth)最流行的数据集是:
•DRIVE (Digital Retinal Images for Vessel Extraction) -将40张图像(分为20张训练图像和20张测试图像)数字化至584 × 565彩色像素，并以tiff格式保存[8,9];
•STARE(视网膜结构分析)-20张视网膜载玻片，数字化为650 × 500彩色像素，便携式像素图(PPM)格式;
•CHASE_DB1(儿童心脏与健康研究)-28张图片数字化为999 × 960彩色像素，jpg格式。
在论文[12]中对各种解决方案进行了回顾。分割过程可以通过两种策略来实现:
•无监督-例如：line detectors, co-occurrence matrix, thresholding, difference-of-Gaussian filters
•监督-在需要 ground truth 的地方，在特征提取之后，使用机器学习分类器，如最近邻分类器，贝叶斯或高斯混合模型。
论文[12]中对DRIVE和STARE数据库的各种分割方法的结果表明，对于无监督方法，获得的特异性结果高达0.9750，而在有监督方法的情况下，特异性甚至达到0.9819。
血管分割可以使用目前流行的深度神经网络进行。这样的网络需要准备大量的样本(即所谓的尺寸为27 × 27像素的补丁)，并使用全局对比度归一化、零相位白化进行预处理，并使用几何变换和伽马校正进行增强。深度神经网络解决方案的有效性可以使用AUC(接收器工作特征(ROC)曲线下的面积)来评估，其值达到0.9以上。基于DRIVE、STARE和CHASE-DB1数据集的UNet模型，internet方案得到的AUC值分别为0.9816、0.9881和0.9851。在DRIVE数据库的情况下，组织了一个挑战，其中使用DICE系数评估分割质量，目前达到0.9755的值。

Vessels Segmentation from OCT Images

与之前讨论的基于眼底相机图像的分割相比，基于OCT扫描的血管分割目前还不是很多研究的主题。由于图像采集的特殊性和预处理的需要，直接应用相机眼底的方法是无效的。另一个缺点是缺乏人工参考分割的OCT眼底重建图像数据库。基于OCT的视网膜血管分割方案可分为三组:
•仅基于单模3d OCT的方法;
•多模态混合方法，除了使用3D OCT数据外，还使用来自眼底相机或扫描激光眼科，
•光学相干断层扫描血管造影(OCTA) -可以在最新的OCT设备。
在我们的研究中，我们专注于只使用3D OCT测量数据，这在大多数设备上都是可用的。因此，这些方法的研究现状如下。
2008年，M. Niemeijer等人在一篇论文中提出了基于OCT的眼底重建血管分割的主题。使用蔡司Meditec Cirrus OCT进行数据采集，并使用15名正常受试者的视神经头为中心的光谱3D OCT扫描图进行自动分割实验。该方法基于二维投影的监督像素分类，包括以下步骤:层分割、血管图像投影和使用kNN分类器的像素分类。根据投影的类型:朴素(即简单的a扫描平均)或智能(从分段b扫描平均)，曲线下的面积分别为0.939和0.970。值得注意的是，该方案应用于神经管开口(NCO)的分割，AUC值为0.79。
在将给定的像素分类为血管类别时，一个重要的问题是基于概率图选择合适的阈值。典型的方法是将阈值设为0.5。与眼底图像分析的情况一样，可以使用双阈值迭代算法(DTI)，该算法考虑了给定像素的周围环境。阈值也可以使用不同的技术来实现，例如斜率差分布(SDD)聚类和阈值选择，这些技术已经被提出用于磁共振(MR)图像，并且对心室ROI的检测是有效的。
血管检测过程的另一个重要因素是在准备重建图像阶段对层进行正确分割，然后选择它们作为边界。所谓的阴影图可以计算不同的范围。考虑到GCL层的组织反射强度，可以强调存在于浅表血管复合体中的血管。应用平滑滤波器后，可以使用阈值函数执行检测(二值化)。所得结果的准确度为94.8%，精密度为75.2%。
分割也可以只使用过滤器操作来执行。在[19]中，使用血管增强滤波器来检测管状几何结构，并抑制剩余的噪声和背景。在黑森[20]的所有特征值的基础上，得到了一个容器度量。[21]也采用了基于滤波器的方法，但为了获得高质量的投影图像，作者采用了直方图均衡化后再进行维纳滤波。滤波也可以与形态学运算结合使用，精度达到83.9%。
基于[19]的视网膜SD-OCT图像的有效、准确的三维配准方法也在[21]中得到了探索。这样的解决方案需要使用两个三维OCT扫描，在适当的标记之后，允许人们获得x-y方向的配准和z方向的配准。本文还对交叉或分岔校正等参数进行了三维分割分析。
综上所述，可以注意到，据本文作者所知，在基于OCT重建的人眼眼底图像的情况下，还没有使用卷积神经网络检测视网膜血管的全面研究。

材料

OCT图像数据集

如前一节所述，目前还没有公开可用的OCT眼底重建图像数据集，可用的OCT数据集主要集中在视网膜病理检测和改进视网膜层自动分割研究所需的视网膜横截面。此外，它们大多只包括一个患者的单个横截面，这不足以提供黄斑区域的表面重建。因此，为了训练神经网络完成从OCT中分割视网膜血管的任务，有必要在我们的公共CAVRI(计算机分析玻璃体视网膜界面)数据集[24]中收集一组OCT扫描。本研究使用的带有手动参考注释的3D OCT黄斑扫描子集称为CAVRI-C。它是由Avanti RTvue OCT (Optovue Inc.， Fremont, CA, USA)获得的24次扫描的集合。这些图像来自12名平均年龄为27岁的健康志愿者(左眼和右眼)。扫描结果的分辨率为141 × 385 × 640 px。数据代表7 × 7 × 2 mm的组织，轴向分辨率为3.1 μm，横向分辨率为18.2 μm。
利用获得的3D扫描图像重建眼底图像，方法见第2.2节。波兹南医科大学Heliodor Swiecicki大学医院眼科及视光学主任医师团队对9个视网膜层边界(ILM、NFL/GCL、GCL/IPL、IPL/INL、INL/OPL、OPL/ONL、ONL/IS、IS/OS、RPE/CHR)及血管(来自眼底重建图像)进行人工分割。对于层的标注，使用定制的公共软件OCTAnnotate[25]。

三维OCT扫描眼底重建

从3D OCT扫描中重建眼底图像是可能的，尽管这不是一个简单的过程，而且准确的重建可能具有挑战性。该过程的基本思想是在垂直(轴向)方向(即所谓的a扫描)上平均OCT数据，如图1所示。在文献中可以发现，早期的方法在平均每个a扫描bb0时使用整个3D扫描。这种方法的缺点是包含扫描的不相关部分(视网膜上方和下方)，以及噪声。

一种更好的方法是利用OCT扫描中选定的视网膜层，利用血管阴影与外视网膜超反射组织(即OS层和RPE层)之间的对比[1,16,27]。重建图像的准确性取决于OCT数据的质量和用于选择相关视网膜组织的算法[15,22]。需要注意的是，重建眼底图像的分辨率取决于体积OCT数据的扫描方案。通常，重建的眼底图像(用固定的扫描OCT参数获得)在快速和非快速扫描方向上分辨率不均匀。在我们的实验中，采用Avanti RTvue设备(Optovue Inc.， Fremont, CA, USA)[28]的3D视网膜扫描协议由141个385像素宽度的b扫描组成，代表7 × 7 mm的视网膜区域。为了得到与真实几何结构相对应的舰船图，我们使用了双三次插值。
在实验中，我们测试了三种视网膜区域组合用于眼底图像重建。用于分析的区域包括:
•神经节细胞层(GCL)
•内网状层(IPL)
•感光器外段和视网膜色素上皮层(OS+RPE)。
图2展示了一个获取的OCT b扫描图像的示例，该图像对上述层的边界进行了手动注释。两根浅表血管作为GCL层的明亮区域可见(在表示NFL/GCL和GCL/IPL边界的黄线之间)。下面的暗区，在OS+RPE切片中可见(在IS/OS和RPE/CHR边界的绿线之间)是这些血管的阴影。b扫描图像中绘制的红线表示IPL层的下边界，即IPL/INL。

设I(x, y, z)表示空间坐标系下的体积OCT数据，其中x和y分别表示水平快速扫描方向和非快速扫描方向的像素指数，z表示轴向像素指数。使用这个定义，我们指定如下视网膜层投影:
GCL层投影-在NFL/GCL和GCL/IPL边界之间定义的层的投影(如图2中的黄线所示)。指定层边界之间的像素沿z轴平均，公式如下:

式中，LNFL/GCL为NFL与GCL在x、y坐标上的垂直边界位置，LGCL/IPL为GCL与IPL层之间的垂直边界位置。GCL+IPL层投影-在NFL/GCL和IPL/INL边界之间定义的包含相邻两层的区域的投影(见图2)。与之前类似，像素值沿z轴平均:

式中LIPL/INL表示IPL与INL在x和y坐标下的垂直边界位置。
OS+RPE层投影-每次a扫描中高反射组织区域(即OS和RPE层)像素强度值的平均值(图2中绿线之间):

式中，LIS/OS为内外段边界位置，对于受体，LRPE/CHR表示RPE和脉络膜层之间的边界位置。
图3说明了这些层的投影。值得注意的是，在GCL投影中，血管比周围组织更亮(见图3a,b)，而在OS+PRE投影中(图3c)，情况正好相反。还可以观察到，GCL层允许存在于浅表血管复体中的细血管，这些血管太小而无法在外层(即is /OS)留下明显的阴影痕迹。

结合式(1)-(3)定义的投影，可以进一步增强视网膜血管网络。有些血管跨越这两层，因此我们同时考虑GCL和IPL层来进行血管投影。此外，中央窝越远，它们穿透视网膜层的深度就越深(并从下视层移动到前视层)。

1. 重建p1 -是仅由OS+RPE层计算的标准外视网膜投影，如式(3)所示。[1]中提出的这种重建常用于基于oct的视网膜血管研究。图4a展示了该方法的一个示例。
2. 重建p2 -作为GCL层和OS+RPE层加权投影的函数计算，如式(4)所示:
   
   其中参数w1和w2用来衡量血管及其阴影的影响，OS+RPE投影描述式(3)，GCL投影由式(1)计算。初步实验得出经验选择w1 = 1.7和w2 = 0.8的值。
   重建p3与P2相似，但不使用GCL投影，而是使用GCL+IPL两层投影，如式(5)所示:
   
   图4为小血管增强后的P2和P3重建图像示例。这些图像来自三维OCT数据。可以看出，GCL层的组织反射率允许强调存在于浅表血管复合体中的血管，这些血管太小而无法留下明显的阴影痕迹。

视网膜层的提取和随后的投影计算在Matlab/Simulink环境[29]中对从OCT设备导出的原始数据进行。

方法

在这项研究中，我们评估了五种卷积神经网络对oct重建眼底图像中视网膜血管的语义分割。该网络的任务是将图像的每个像素分配为血管或非血管，使其成为一个二值分类问题。测试了以下网络架构:UNet、internet、BCDU-Net、SA-UNet和FR-UNet。他们的简短描述可以在下面找到。图5说明了所建议的方法的一般溢出。

UNet

U-Net架构[30]基于全卷积网络。它由一系列卷积层组成，通过两个连续对称的部分处理输入数据:收缩和扩张，使网络呈u形结构。收缩路径是一个典型的卷积网络，由4层重复的3 × 3卷积组成，然后是一个整流线性单元(ReLU)和一个最大池化操作。该方法在增加特征信息的同时减少了空间信息。在最后的池化之后，最后(第5)层也由重复的3 × 3卷积组成，然后进行扩展部分，在扩展部分中，池化被上采样算子取代，将层的大小增加到原始分辨率。收缩层和扩展层之间的大量特征通道和连接操作允许网络将上下文信息传递给更高分辨率的层，并学习详细的输出。
我们选择UNet结构是因为它在各种分割任务中表现非常好，特别是在医疗应用中。在我们的应用中，网络的输入是一通道oct重建的眼底图像。该网络输出一个与输入大小相同的2通道(容器/非容器)概率图，其中包含每个像素应该分类到哪个类别的信息。

IterNet

第二个使用的网络，即internet[14]，是前面描述的UNet体系结构的扩展。它由一个基本的(5级)UNet模块构建而成，并辅以几个(在我们的例子中是3个)精细化的迷你UNet模块。迷你UNet模块比基本UNet少1级(即4级)。第一个模块的倒数第二层被视为下一个模块的输入，并对以下模块重复类似的过程。每个模块都经过训练，用单个损失函数拟合正确的分割标签。因此，炼油厂模块（refinery modules.）学习对错误或缺失的船舶模式免疫。避免过拟合问题的另一个功能是模块之间的额外跳过连接和权重共享(即所有mini-UNet共享相同的权重和偏差)，这也减少了必要的训练样本数量。
设计了互联网结构，从彩色眼底照片的128 × 128像素斑块中学习人体血管网络结构。它的优势在于能够在炼油厂模块的迭代预测过程中逐步连接分裂的微型容器。在我们的实验中，我们的目标是利用这一能力，并将眼底重建图像的主题补丁(外推到3个通道)作为internet的输入。该网络为每个像素输出一个1通道概率图，其中容器的大小与输入图像相同。

BCDU-Net

下一个有前景的网络是双向ConvLSTM UNet (BCDU-Net)[31]。该方法用双向卷积LSTM层补充4级UNet结构，以非线性方式利用语义和高分辨率信息。此外，它还结合了密集连接的卷积层，将集体知识包含在表示中。此外，采用批归一化方法提高了收敛速度。
该网络在视网膜血管、皮肤病变和肺部三种不同类型的医学分割应用中显示出有利的结果。根据作者的解决方案，我们将该网络用于重建眼底图像，使用64 × 64 px的补丁作为输入图像来训练网络。该网络输出输入大小的1通道矩阵，其中包含属于船舶的每个像素的概率信息。

SA-UNet

另一个经过测试的体系结构是SA-UNet[32]。在这里，作者在编码器和解码器路径之间的4级U-Net结构中引入了空间注意模块。该解决方案的主要思想是利用来自各种复杂网络模型的注意力特征(可以很好地保留结构信息)，以轻量级、更好的可解释性和可比性(相对于准确性)模型。
该网络能够有效地从彩色眼底图像中分割出精细的视网膜血管。我们希望利用这一解决方案，将重建的眼底图像(3通道)置于该架构中。结果预测是一个单通道概率图。

FR-UNet

在我们的应用中考虑的第五个神经网络模型是一种新的方法，称为全分辨率和双阈值迭代基于UNet架构[17]。通过一种多分辨率卷积交互机制，对原方法进行了横向和纵向扩展。浅层阶段提供了更精细的语义信息，而深层阶段增加了局部接受野。与传统的编码器-解码器结构相比，FR-UNet的第一阶段在保持原始分辨率的同时不断集成高级上下文信息。FR-UNet添加了一个特征聚合模块，该模块集成了来自相邻阶段的多尺度特征图。作者还提出了一种双阈值迭代算法来改善船舶连通性。
这种新颖而直接的方法旨在缓解在低对比度的薄血管分割中丢失重要空间信息的问题。虽然它是为彩色眼底照片开发的，但我们希望在oct重建眼底图像的应用中显示出它的优势。

结果

为了检验基于OCT眼底重建的血管分割的有效性，我们使用上述网络进行了一系列实验。使用基本指标，如ROC曲线下面积(AUC)、准确度、灵敏度、精密度、特异性和f1评分[33]，将获得的预测质量与人工分割(专家)进行比较:

其中TP为真阳性，tn -真阴性，fp -假阳性，fn -假阴性。我们使用由UNet架构作者提供的实验代码来实现这些方程。
对每个神经网络进行6次交叉验证，其中20张眼底图像用于训练，其余4张用于测试。这20张训练图像被进一步分成验证和训练子集，其比例取决于软件作者的原始推荐。
在所有实验中，我们使用了官方的internet、BCDU-Net、SA-UNet和FR-UNet实现，这些实现都是作者在GitHub上分享的。对于UNet，我们使用Daniele Corti- novis的实现[34]。在对重构后的眼底图像进行处理时，我们尽量减少对原始代码的改变。在本文末尾的数据可用性部分中提供了代码的链接。
实验在谷歌Colab和Paperspace上进行。原始的神经网络代码是用Python 2编写的。我们已经将其重写为版本3，并通过仅使用第二个输出通道(以对应于测量测试准确性的方式)更改了计算训练和验证准确性的方式。UNet、internet和SA-UNet使用Nvidia M4000图形处理单元(GPU)进行训练。一次折叠的平均时间分别为60分钟、7分钟和25.5分钟。BCDU-Net在Nvidia A100 GPU上进行训练，平均训练时间为6.5 min。FR-UNet网络的训练使用Nvidia Tesla T4 GPU，平均一次训练时间约为25 min。

预处理和数据增强

数据预处理和增强使用与测试神经网络作者使用的相同方法进行。在UNet和BCDU- Net中，眼底图像进行了相同的预处理，包括灰度转换、z-score归一化、CLAHE直方图均衡化(对比度有限自适应直方图均衡化)和伽马校正。但是，我们省略了原始实现中出现的裁剪图像边缘的阶段。没有进行数据扩充。
由internet网络处理的图像没有预处理，而增强过程由亮度，对比度，饱和度和几何操作的随机变化组成，例如随机旋转(±20度)，剪切，反射，移动和缩放(在⟨0.8,1.0⟩的范围内)。
在SA-UNet训练中使用的图像增强包括随机改变色彩平衡、亮度、对比度、锐度、添加高斯噪声、随机旋转和裁剪。对于FR-UNet，图像被z-score正态化，随机旋转0、90、180或270度，并随机垂直和水平翻转。
表1列出了测试网络体系结构的设置参数。

基于UNet的血管分割

本节将使用第2.2节中描述的三种重建方法P1、P2和P3，对UNet架构的血管分割进行定量比较。
图6 (a)、©和(e)分别给出了用于评估P1、P2和P3训练的损失值。这些重建的验证过程分别显示在图(b)、(d)和(f)中。

对于大多数实验，最终的训练损失下降到0.1左右。然而，我们可以注意到，在P2和P3重构的情况下，存在训练损失函数明显较大的异常值(P2为0.16,P3为0.15)。通过P1重构实现了最低的验证损失值，约为0.1。对于P2和P3重建，验证损失更高(在0.14到0.2之间)，我们也观察到单个折叠之间的差异更大。
使用P1、P2和P3重建的训练子集的准确率图分别如图7 - (a)、©和(e)所示。这些重建的验证过程分别在子图(b)、(d)和(f)中说明。

所有实验的训练准确率都达到96%左右。P1重构的验证精度最高。同样，P2和P3重建导致更差的结果和更大的褶皱之间的扩散。

基于internet的血管分割

图8显示了internet网络训练过程中得到的损失和准确率图。在所有的实验中，网络都是收敛的。所有重构类型的最终训练损失都在0.4以下，训练准确率超过97%。在大多数交叉验证中，学习曲线是相似的;只有在使用P1重建的第三次折叠中出现异常值。

基于BCDU-Net的血管分割

使用BCDU-Net架构获得的损耗和精度图分别如图9和图10所示。根据三次重建的损失图(见图9a、c、e)，学习过程从第15次epoch开始趋于稳定——训练损失达到0.03-0.04左右的最小值(取决于交叉验证子集)。另一方面，从验证损失图(见图9b、d、f)可以看出，在第8 epoch左右达到最佳学习点，之后验证损失开始增加，说明网络出现了过度训练。

还可以观察到，除了使用P1和P2重建的验证损失的个别异常值外，所有交叉验证样本在训练和验证期间获得的损失值都呈现相似的结果。
分析图10可以发现，在前两个历元的准确率值初始快速增加之后，训练的准确率在第15历元之后逐渐增加，三次重建的准确率都在0.985-0.99之间达到饱和(见图10a、c、e)。同样，尽管验证精度略有降低(如图10b、d、f所示)，在第8个历元之后，P1、P2和P3的精度平均达到了0.98、0.976和0.978。精度图也表明了所有截面结果的一致性。

基于SA-UNet的血管分割

图11显示了SA-UNet的训练和验证损失。在所有的实验中，网络都是收敛的，训练和验证损失下降到0.175左右。从验证损失图中可以看出，经过第60 epoch的训练后，网络的损失值并没有进一步提高。眼底重建方法间无明显差异。

SA-UNet架构的精度图如图12所示。三种眼底重建的训练和验证准确率均在96%左右。有趣的是，验证精度在前15个epoch没有变化，然后从0.925增加到0.96。这种现象也出现在SA-UNet架构[32]的作者所做的实验中。

基于FR-UNet的血管分割

FR-UNet的损耗图如图13所示。在训练的情况下，可以观察到，对于P1, P2和P3这三种重构，每次交叉验证的曲线都非常相似。学习过程在30次后趋于稳定，达到0.05。
图14显示了FR-UNet的精度图。训练的准确度图也显示了所有六种折叠的非常相似的结果。这一观察结果对于所有类型的重建(P1, P2, P3)都是明显的。训练在35次后达到饱和，其值为0.975。在验证精度上，P1、P2和P3经过35次epoch后的准确率分别达到0.982、0.982和0.985。

模型与眼底重建方法的比较

本节对经过测试的神经网络模型得到的眼底分割结果进行定性和定量比较。获得的指标(准确度、灵敏度、特异性、精密度、f1评分和AUC)的平均值列于表2。在此表中，给定神经网络的最佳结果以粗体标记，此外，星号表示哪种重构与特定网络一起为每个指标提供总体最佳值。为了便于比较，表2还包含了基于阴影图[15]和形态学操作[22]的传统解决方案的结果。

可以看出，根据重构的不同，无论使用哪种类型的神经网络，解决方案P1和P3都获得了最好的结果。在大多数情况下，建议的P3重建效果最好。
FR-UNet网络最初是为了检测眼底彩色照片中的血管而提出的，在oct重建眼底的情况下，所选指标的值最高。对于该神经网络，还测试了双阈值迭代(DTI)算法[17]的影响。FR-UNet的准确性、灵敏度、F1评分和AUC最高(P3重建)。在FR-UNet的情况下，DTI的使用提高了灵敏度，但降低了其他指标的值，特别是精度。UNet网络是其他网络架构的基础，它的度量值明显较低。在所有网络中，UNet和FR-UNet网络的灵敏度值都是最高的，UNet的重构P1和FR-UNet的重构P3都是如此。
BCDU-Net获得的结果与IterNet相似，最佳结果分布与IterNet相同，P3重建的值优势最高。准确性和AUC与IterNet相同，而灵敏度和F1-score的差异仅为0.007和0.002 (P3也是如此)。在特异性方面，IterNet(使用P1)分别仅比BCDU-Net和FR-UNet高出0.002和0.005，而精密度则高出0.023和0.055。
在SA-UNet网络的情况下，可以观察到所有指标都是建议的P3重建的最佳指标，但与internet和BDCU-Net网络的P3指标相比，它们略低。获得的f1评分(所有网络)与使用彩色眼底图像的文献报道的结果相当。
需要补充的是，经典方法在准确度和特异性方面都取得了良好的结果(约为90-98%)。然而，对于灵敏度、精度和f1分数，与使用神经网络的解决方案相比，获得的值要低得多。只有形态学滤波- bml方法的f1得分为0.816，但该值低于FR-UNet(0.857)。
图15展示了使用五种描述的神经网络和提出的重构P1、P2和P3进行分割预测的示例。绿色表示正确的血管分割，红色表示专家标记的血管缺乏分割，蓝色表示分类为血管的像素不在ground truth中。为了比较，图中还包含了人工分割。

可以观察到，UNet体系结构提供了较厚的血管，由于血管路径缺乏连续性而导致许多工件。获得最佳度量值的网络，即internet，同时提供了更多的细节和更好的连续性，特别是利用P3重建。使用BCDU-Net可以观察到薄血管的最佳定性结果。这种架构还提供了一个非常详细和连续的船舶网络。有趣的是，SA-UNet没有提供细血管的分割，这在重建P1中尤为明显。
一般来说，P1和P3重建可以更好地保持血管网络的连续性。对于P2重建，许多血管破裂或根本不存在。图15中的定性分析支持表2中的定量数据。

讨论

总的来说，可以看到所有神经网络的AUC值都大于0.957，对于FR-UNet，重建P3的AUC参数为0.991。对精度、灵敏度、f1评分和AUC等参数的分析表明，FR-UNet架构最适合准备好的数据集。然而，internet和BCDU-Net给出的结果略低。还应该提到的是，与经典的基于阴影的方法[15]相比，神经网络允许获得更好的精度(约12-16%)，灵敏度(约34%)和f1分数(约32%)值。
基于三维光学相干断层扫描的眼底图像重建需要在初始阶段仔细进行，包括在三维OCT扫描的单个b扫描中正确分割层。b扫描视网膜层边界的准确性影响眼底重建过程。实验表明，很难明确指出哪一种重建方法是最好的，尽管P3给出了非常有希望的结果，而P2是最差的。结果表明，对于给定的神经网络，没有明确选择合适的重构来为所有评价参数提供最佳结果。然而，对于SA-UNet网络，情况并非如此，P3重建在所有评估标准中获得了最好的结果。此外，对于该重构(P3)，无论网络类型如何，精度或AUC等参数始终是最高的。
虽然所提出的算法的结果很好，但仍存在一些问题。首先，我们还没有在视神经头的OCT扫描上测试这种方法。然而，由于NCO周围的血管网络比黄斑周围的血管网络要厚得多，因此分割算法的性能可能会更好。如图15所示，对于较宽的血管的检测效果总体较好。其次，同样的图像显示出碎片化的问题，或者对较薄的血管系统缺乏适当的分割。造成这个问题的主要原因是细血管和周围组织之间的对比度较低，以及图像的分辨率很低(细血管的宽度为1px)。在未来的工作中，我们希望改进所提出的方法，不仅可以提供完整的船舶网络地图，还可以测试NCO周围的区域。

结论

在本文中，我们提出了一种利用神经网络从一系列OCT横截面重建的眼底图像中进行视网膜血管分割的方法。实验研究表明，各种神经网络可以有效地实现血管检测。利用三种重建方法制备的眼底三维OCT扫描数据库覆盖了黄斑区域。这个区域在视网膜退行性改变的治疗中特别重要。适当的血管可视化允许辅助诊断程序来监测疾病的进展，并选择适合病例的治疗算法。眼科医生可以作为进一步研究的基础，通过医学或外科干预预测解剖成功。此外，它们还可以为玻璃体切割手术中手术器械的安全定位提供指导。

引用

1. Hu, Z.; Niemeijer, M.; Abramoff, M.; Garvin, M. Multimodal retinal vessel segmentation from spectral-domain optical coherence tomography and fundus photography. IEEE Trans. Med. Imaging 2012, 31, 1900–1911. [PubMed]
2. Mariño, C.; Penedo, M.G.; Penas, M.; Carreira, M.J.; Gonzalez, F. Personal authentication using digital retinal images. Pattern Anal. Appl. 2006, 9, 21–33. [CrossRef]
3. Hussain, A.; Bhuiyan, A.; Mian, A.; Ramamohanarao, K. Biometric Security Application for Person Authentication Using Retinal Vessel Feature. In Proceedings of the 2013 International Conference on Digital Image Computing: Techniques and Applications (DICTA), Hobart, TAS, Australia, 26–28 November 2013; pp. 1–8. [CrossRef]
4. Heneghan, C.; Flynn, J.; O’Keefe, M.; Cahill, M. Characterization of changes in blood vessel width and tortuosity in retinopathy of prematurity using image analysis. Med. Image Anal. 2002, 6, 407–429. [CrossRef] [PubMed]
5. Stankiewicz, A.; Marciniak, T.; Da ̨browski, A.; Stopa, M.; Rakowicz, P.; Marciniak, E. Denoising methods for improving automatic segmentation in OCT images of human eye. Bull. Pol. Acad. Sci. Tech. Sci. 2017, 65, 71–78. [CrossRef]
6. Devalla, S.K.; Subramanian, G.; Pham, T.H.; Wang, X.; Perera, S.; Tun, T.A.; Aung, T.; Schmetterer, L.; Thiéry, A.H.; Girard, M.J. A deep learning approach to denoise optical coherence tomography images of the optic nerve head. Sci. Rep. 2019, 9, 14454. [CrossRef] [PubMed]
7. Anoop, B.; Kalmady, K.S.; Udathu, A.; Siddharth, V.; Girish, G.; Kothari, A.R.; Rajan, J. A cascaded convolutional neural network architecture for despeckling OCT images. Biomed. Signal Process. Control 2021, 66, 102463. [CrossRef]Sensors 2023, 23, 1870 24 of 25
8. Staal, J.; Abramoff, M.; Niemeijer, M.; Viergever, M.; van Ginneken, B. Ridge-based vessel segmentation in color images of the retina. IEEE Trans. Med. Imaging 2004, 23, 501–509. [CrossRef] [PubMed]
9. DRIVE: Digital Retinal Images for Vessel Extraction. Available online: https://drive.grand-challenge.org/ (accessed on 27 December 2022).
10. Hoover, A.; Kouznetsova, V.; Goldbaum, M. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response. IEEE Trans. Med. Imaging 2000, 19, 203–210. [CrossRef] [PubMed]
11. Owen, C.G.; Rudnicka, A.R.; Mullen, R.; Barman, S.A.; Monekosso, D.; Whincup, P.H.; Ng, J.; Paterson, C. Measuring retinal vessel tortuosity in 10-year-old children: Validation of the computer-assisted image analysis of the retina (CAIAR) program. Investig. Ophthalmol. Vis. Sci. 2009, 50, 2004–2010. [CrossRef] [PubMed]
12. Fraz, M.; Remagnino, P.; Hoppe, A.; Uyyanonvara, B.; Rudnicka, A.; Owen, C.; Barman, S. Blood vessel segmentation methodologies in retinal images—A survey. Comput. Methods Programs Biomed. 2012, 108, 407–433. [CrossRef] [PubMed]
13. Liskowski, P.; Krawiec, K. Segmenting Retinal Blood Vessels With Deep Neural Networks. IEEE Trans. Med. Imaging 2016, 35, 2369–2380. [CrossRef] [PubMed]
14. Li, L.; Verma, M.; Nakashima, Y.; Nagahara, H.; Kawasaki, R. IterNet: Retinal Image Segmentation Utilizing Structural Redundancy in Vessel Networks. In Proceedings of the 2020 IEEE Winter Conference on Applications of Computer Vision (WACV), Snowmass, CO, USA, 1–5 March 2020; pp. 3645–3654. [CrossRef]
15. Stankiewicz, A.; Marciniak, T.; Da ̨browski, A.; Stopa, M.; Marciniak, E. Volumetric segmentation of human eye blood vessels based on OCT images. In Proceedings of the 2017 25th European Signal Processing Conference (EUSIPCO), Kos, Greece, 28 August–2 September 2017; pp. 36–40. [CrossRef]
16. Niemeijer, M.; Garvin, M.; van Ginneken, B.; Sonka, M.; Abramoff, M. Vessel Segmentation in 3D Spectral OCT Scans of the Retina. In Proceedings of the SPIE Medical Imaging 2008: Image Processing, San Diego, CA, USA, 16–21 February 2008; Volume 6914, pp. 69141R1–69141R8.
17. Liu, W.; Yang, H.; Tian, T.; Cao, Z.; Pan, X.; Xu, W.; Jin, Y.; Gao, F. Full-Resolution Network and Dual-Threshold Iteration for Retinal Vessel and Coronary Angiograph Segmentation. IEEE J. Biomed. Health Inform. 2022, 26, 4623–4634. [CrossRef] [PubMed]
18. Wang, Z. Automatic Localization and Segmentation of the Ventricles in Magnetic Resonance Images. IEEE Trans. Circuits Syst.
    Video Technol. 2021, 31, 621–631. [CrossRef]
19. Wu, J.; Gerendas, B.S.; Waldstein, S.M.; Langs, G.; Simader, C.; Schmidt-Erfurth, U. Stable registration of pathological 3D-OCT
    scans using retinal vessels. In Proceedings of the Ophthalmic Medical Image Analysis International Workshop, Boston, MA, USA,
    14–18 September 2014; Volume 1.
20. Frangi, A.F.; Niessen, W.J.; Vincken, K.L.; Viergever, M.A. Multiscale vessel enhancement filtering. In Proceedings of the
    International Conference on Medical Image Computing and Computer-Assisted Intervention, Cambridge, MA, USA, 11–13
    October 1998; Springer: Berlin/Heidelberg, Germany, 1998, pp. 130–137.
21. Pan, L.; Guan, L.; Chen, X. Segmentation Guided Registration for 3D Spectral-Domain Optical Coherence Tomography Images.
    IEEE Access 2019, 7, 138833–138845. [CrossRef]
22. Marciniak, T.; Stankiewicz, A.; Da ̨browski, A.; Stopa, M.; Rakowicz, P.; Marciniak, E. Measurement of retina vessels by
    segmentation of images reconstructed from optical coherence tomography data. Metrol. Meas. Syst. 2019, 26, 449–461.
23. Moura, J.D.; Novo, J.; Ortega, M.; Charlón, P. 3D retinal vessel tree segmentation and reconstruction with OCT images. In Proceedings of the International Conference on Image Analysis and Recognition, Póvoa de Varzim, Portugal, 13–15 July 2016;
    Springer: Berlin/Heidelberg, Germany, 2016; pp. 716–726.
24. Stankiewicz, A.; Marciniak, T.; Dabrowski, A.; Stopa, M.; Marciniak, E. CAVRI Datasets for Retina Image Analysis. CAVRI-C
    Dataset. Available online: http://dsp.org.pl/CAVRI_Database/191/ (accessed on 27 December 2022).
25. Stankiewicz, A. OCTAnnotate v1.8. Available online: https://github.com/krzyk87/OCTAnnotate (accessed on 30 June 2021).
26. Xu, J.; Tolliver, D.; Ishikawa, H.; Wollstein, G.; Schuman, J. 3D OCT retinal vessel segmentation based on boosting learning. In
    Proceedings of the World Congress on Medical Physics and Biomedical Engineering, Munich, Germany, 7–12 September 2009;
    Dössel, O.; Schlegel, W.C., Eds.; Volume 25/XI, pp. 179–182.
27. Niemeijer, M.; Sonka, M.; Garvin, M.K.; van Ginneken, B.; Abramoff, M.D. Automated Segmentation of the Retinal Vasculature in
    3D Optical Coherence Tomography Images. Investig. Ophthalmol. Vis. Sci. 2008, 49, 1832.
28. Optovue. RTVue XR 100 Avanti System. User Manual. Software Version 2016.0.0; Optovue: Fremont, CA, USA, 2016.
29. MATLAB. Version 9.4.0 (R2018a); The MathWorks Inc.: Natick, MA, USA, 2018.
30. Ronneberger, O.; Fischer, P.; Brox, T. U-net: Convolutional networks for biomedical image segmentation. In Proceedings of the
    International Conference on Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, 5–9 October
    2015; Springer: Berlin/Heidelberg, Germany, 2015; pp. 234–241.
31. Azad, R.; Asadi-Aghbolaghi, M.; Fathy, M.; Escalera, S. Bi-Directional ConvLSTM U-Net with Densley Connected Convolutions.
    arXiv 2019, arXiv:1909.00166.
32. Guo, C.; Szemenyei, M.; Yi, Y.; Wang, W.; Chen, B.; Fan, C. SA-UNet: Spatial Attention U-Net for Retinal Vessel Segmentation.
    arXiv 2020, arXiv:2004.03696.
    Sensors 2023, 23, 1870 25 of 25
33. Fawcett, T. An introduction to ROC analysis. Pattern Recognit. Lett. 2006, 27, 861–874.
34. Retina Blood Vessel Segmentation with a Convolution Neural Network (U-Net). Available online: https://github.com/orobix/
    retina-unet (accessed on 27 December 2022).