ReLayNet: Retinal Layer and Fluid Segmentation of Macular Optical Coherence Tomography using Fully C

ReLayNet: Retinal Layer and Fluid Segmentation of Macular Optical Coherence Tomography using Fully Convolutional Networks
论文翻译
摘要：光学相干断层扫描（OCT）用于糖尿病性黄斑水肿的非侵入性诊断，评估视网膜层。 在本文中，我们提出了一种新的完全卷积的深层结构，称为ReLayNet，用于眼部OCT扫描中的视网膜层和液团的端到端分割。 ReLayNet使用卷积块（编码器）的收缩路径来学习上下文特征的层次结构，然后使用卷积块（解码器）的扩展路径进行语义分割。 ReLayNet经过培训，可以优化包括加权逻辑回归和骰子重叠损失在内的联合损失函数。 该框架在可公开获得的基准数据集上进行了验证，并与五种最新的细分方法进行了比较，其中包括两种基于深度学习的方法以证实其有效性。
1.简介
光谱域光学相干断层扫描（SD-OCT）是一种非侵入性成像方式，通常用于对具有足够穿透深度（0.5-2 mm）的生物组织进行高分辨率（6µm）横截面扫描[1，2]。它通过对像生物软组织这样的高度散射的光学介质中反向散射的光子进行相干感测，利用散斑形成的原理[3]。它已在整个视网膜病理学研究的医学成像，皮肤成像以监测伤口愈合[4]和血管内成像以有效地放置支架[5]，管腔检测[6]和斑块检测[7]中找到了应用。 OCT是视网膜横截面成像的首选首选方式，因为它具有高分辨率，有利于清晰显示视网膜的各个组成层。糖尿病是一种广泛发生的慢性代谢性疾病，估计发病率约为4.15亿人（约占成年人口的8.3％）[8]。糖尿病患者经常处于与视力相关的合并症高发的风险中，据报道这一比例高达28％[9]。糖尿病患者视觉质量的下降通常与糖尿病性视网膜病变（DR）有关，这会导致视网膜血管受损和视网膜层之间积液[10，11]。因此，糖尿病患者必须适当监测视网膜层的形态和液体积聚，以防止失明的机会。

图1.不带和带黄斑水肿的OCT图像的ReLayNet的分割结果。 没有囊肿的OCT图像，其基本情况和ReLayNet分段分别在（a），（b）和（c）中显示。 带囊肿的OCT图像，其地面真值和RelayNet预测分别在（d），（e）和（f）中显示。 每种颜色对应的视网膜层和囊肿在右侧显示。

由于存在微眼球运动导致运动伪影，组织相对于相干波表面的倾斜度变化以及随着成像深度的增加信噪比差，因此获取以光学神经和中央凹为中心的视网膜OCT具有很高的挑战性。在高度近视眼的情况下，采集也特别困难。与模态相关的这些固有挑战使OCT图像的解释变得困难，并且专家之间通常存在很大差异。具体而言，由于两个视网膜层之间边界的高度扩散性质。这导致手动注释层边界非常主观且耗时。这激发了许多研究的兴趣，以开发用于从OCT图像中分割不同视网膜层的自动化方法，并有助于在报告中尽量减少受试者变异的情况下进行准确诊断[12-16]。
为此，我们提出了一种基于深度学习的端到端学习框架，用于对多个视网膜层进行分割并在眼部OCT图像中勾勒出液袋的轮廓，称为ReLayNet（视网膜层分割网络的缩写）。据我们所知，这是首次将基于深度学习的完全卷积端到端方法用于此应用程序。图1预览了针对两个OCT切片（不包含流体质量）的ReLayNet建议结果。
2.最先进的
分割视网膜OCT扫描的任务包括将图像划分为视网膜的组成层并描绘出液池（如果存在）。 OCT通常以图的形式出现（称为图构造（GC）），并且使用动态编程（DP）方法解决了层标签分配问题[12-16]。特别是Chiu等。用强度梯度来估计图的边缘权重，然后用DP来解决最短路径问题，从而估计层边界[13]。通过使用硬约束和软约束从GC中的学习模型中添加先前信息，可以在后续方法中进一步改进[16]。另外，Srinivasan等。提出使用基于稀疏性的图像去噪，支持向量机和启发式先验在GC [14]。 Chiu等在最近的工作中。证明了使用基于核回归的方法对层和流体质量进行分类，然后用GC和DP进行精制[15]。类似的，Karri等人。提出通过使用结构化随机森林学习层特定的边缘来增强GC [20]。同样，通过在DP范式中加入适当的约束进行分割，可以改善连续OCT帧之间的空间一致性[21]。最近，Fang等。将CNN与图搜索方法结合使用，可自动分割9个视网膜层边界。他们提出的方法使用了由CNN在图搜索方法内生成的概率预测，该图描述了最终的视网膜层边界[22]。
并行方法受计算机视觉应用中图像分割早期发展的启发，也已针对OCT分割进行了研究。这些包括纹理信息和扩散图的使用[12]，使用层边界特定形状规则器[23]对视网膜层建模的概率方法以及同时作用以分割视网膜边界的两个平行活动轮廓的部署[24]。
前述的视网膜层分割方法不是端对端范例。通常，在选择图形权重GC和后续DP时会采用启发式方法和手工方法。分割是在多个阶段完成的，这些阶段涉及诸如降噪的预处理阶段，然后是细化的后处理阶段。尽管这些附加步骤不会限制这些方法的可用性，但必须注意，这些步骤需要大量的领域知识和建模近似值。专门针对层分割的方法通常不考虑存在流体填充区域，这可能导致病理设置中潜在的错误结果。除了上述局限性外，这些方法的测试阶段通常很慢（图形优化通常是计算瓶颈）。这限制了它们在受时间限制的环境中（如干预期间）部署的潜力。着眼于解决这些问题，我们在这项工作中提出了一种基于深度学习的方法，以端到端的方式生成整个B扫描切片的分层。基于深度学习的方法具有从数据中学习区分表示的优势，而无需手工特征。特别是，我们提出了一种深度学习架构，该架构属于完全卷积神经网络（F-CNN）家族，该家族专门为语义分割量身定制，该语义分割可一起预测所有图像像素的标签[17-19]。
最近，在计算机视觉和医学成像社区中，已经有大量工作使用深度学习方法进行语义分割。 Long等人提出的关于全卷积语义分割的开创性工作。 [17]在这项工作中特别重要。他们有效地将训练有图像分类的最新技术网络调整为针对细分任务进行了微调的完全卷积网络。特别是，他们引入了跳过连接的概念，该概念有效地结合了来自较深层的粗糙解析层的高阶语义信息和来自浅层的精细分解层的外观信息，从而改善了细分细节。通过使用称为DeconvNet的基于编码器-解码器的框架以及引入非池化层而不是插值来提高分割的空间一致性，可以在该系列模型中实现显着改进[18]。在另一个工作中，Chen等。提出使用原子卷积核而不是插值的概念，以获得更平滑的特征图版本，更适合语义分割[25]。在医学影像界，Ronnerberger等人。提出了一种U-Net架构，该架构利用了编码器-解码器架构，并在它们之间引入了跳过连接[19]。他们证明，当采用适当的数据增强和梯度加权方案时，可以在有限的训练数据存在下有效地训练这种体系结构。必须注意的是，本文中介绍的架构部分受U-Net [19]和DeconvNet [18]的启发。
本文中提出的重要贡献可以列为：（i）据我们所知，这是采用全卷积深度学习方法进行视网膜OCT层和流体分割的第一项工作；（ii）ReLayNet是最终目标。 完全由OCT数据驱动的端到端学习方法，无需采用任何启发式方法或手工制作的功能，并且具有极富竞争力的测试时间（每个B扫描10毫秒），（iii）我们的模型使用编码器-解码器〜 通过结合解开阶段和跳跃连接来针对手头任务量身定制的配置，以提高空间一致性并简化训练过程中的梯度流。（iv）ReLayNet训练时采用了复合损失函数，包括加权logistic回归损失和Dice 损失以改善细分。 所采用的加权方案有效地补偿了不平衡的类别，并有选择地惩罚了层边界处的误分类。
在本文的其余部分中，我们将在Sec3中详细介绍所提出框架的方法，然后在Sec4中进行实验设置，在Sec5中讨论分割性能和视网膜厚度估计的结果，最后在Sec6中进行总结。
3.方法论
3.1。 问题陈述
给定视网膜OCT图像I，任务是为K类将每个像素位置x =（r，c）分配给标签空间L = {l} = {1，…，K}中的特定标签l。 我们将当前的分割任务视为K = 10类分类问题。 组织类别包括图1所示的7个视网膜层，视网膜上方的区域（RaR），视网膜上方的区域（RbR）和积聚的液体。
3.2。 网络架构

图2.提出的全卷积ReLayNet体系结构。 要素图(feature maps)的空间分辨率显示在框中。 基础层符号显示在右侧。
所提议的ReLayNet的网络架构如图2所示。它由编码器块的收缩路径，解码器块的扩展路径和跳过连接组成，这些跳跃路径通过级联层将间歇性特征表示从编码器块传递到匹配的解码器块， 其次是分类层。 各个组成块详细说明如下：
3.2.1。编码器块
每个编码器块依次由4个主要层组成：卷积层，批归一化层，ReLU激活层和最大池化层。将所有编码器块的卷积内核定义为7×3的矩形大小，以便与OCT图像尺寸以及偏差保持一致。选择内核大小，以确保最后一个编码器块处的接收场涵盖整个视网膜深度。适当地对要素图进行零填充，以使卷积层之前和之后的尺寸保持不变。在卷积层之后引入批处理归一化层，以补偿协变量偏移并防止在训练过程中过度拟合[26]。 ReLU在训练中引入了非线性。接下来是最大池化层，该层将要素地图的尺寸​​减小了一半。在该操作期间的池索引被存储并在解码器块的相应的非池化阶段中使用，以保持空间一致性。
3.2.2。解码器块
每个解码器块按顺序包括5个主要层：分解层，串联层，卷积层，批归一化和ReLU激活功能。解池层通过使用来自匹配编码器块的已保存池索引，将前一个解码器块的粗分解特征图上采样到更高分辨率，并在其余位置归零（示意性显示在图3中）。这样的解池层确保了空间
与使用插值进行上采样相比，信息仍然得以保留[18]。这对于在中央凹附近准确分割层特别重要，因为它们通常只有几个像素厚，而双线性插值可能会导致边界高度扩散，从而导致层厚度的估计不可靠。该解池层之后是跳过连接，该中继连接中继匹配的编码器块的输出特征图，该输出特征图又与串联层中的解池特征图串联在一起。这种跳过连接的优点有两个：（i）通过添加来自编码器部分的信息丰富的特征图来帮助过渡到更精细的分辨率，以及（ii）在训练过程中帮助梯度流向编码器部分，因此，当模型深度增加时，将梯度消失的风险降到最低。级联的特征图之后是卷积层，批处理规范化和ReLU。这些层实际上使稀疏的非池化特征图致密。卷积层的内核大小通过与编码器块类似的适当填充保持恒定在7×3。
3.2.3 分类块
最终的解码器块后面是具有1×1内核的卷积层（用于在不更改空间尺寸的情况下缩小特征图的通道），以将64通道特征图映射到10通道特征图（用于10类）。 最后，softmax层估计像素属于10个类别之一的概率。
3.3 训练
3.3.1 损失函数
通过共同优化以下损失函数来训练ReLayNet：
加权多类逻辑损失：交叉熵提供了网络当前状态下实际标签与预测值之间的概率相似性。 所有类别的平均交叉熵定义了逻辑损失，该损失在每个像素位置x上估算的概率pl（x）与1的偏差是不利的，定义如下：

图4.训练B扫描OCT图像的不同像素的加权方案示意图。 （a）中显示了OCT训练B扫描样本，（b）中显示了地面真实性标签，（c）中显示了用于训练的相应权重。 （b）中的配色方案与图1一致。

其中pl（x）提供像素x属于类别l的估计概率，而ω（x）是与像素x相关联的权重。 其中gl（x）是一个向量，其中一个为真标签，其他为零，表示位置x处像素属于l类的地面真实概率。 对于我们的应用程序，我们使用逻辑损失的加权版本来补偿类不平衡，并鼓励对层转换有区别的内核。
骰子损失：与多类逻辑损失函数一起，我们使用骰子损失来评估与地面真相的空间重叠。
在这里，我们使用骰子损失的微分近似值，定义如下[27]：

3.3.2。 损失函数的加权方案
令ω（x）是与方程中特定像素x∈Ω相关的权重。 （1）。 从地面真相注释中可以看出，最接近组织转变区域的像素通常很难准确分割，因为由于斑点噪声和有限的OCT分辨率，组织边界可能会扩散。 为了鼓励ReLayNet内核对此敏感，我们通过加权系数ω1来提高此类像素的梯度贡献。 与显性类别（背景）相比，视网膜层也严重失衡，加权方案还旨在通过用系数ω2权衡代表性不足的类别（视网膜层和流体质量）的贡献来对此进行补偿。 因此，最终的加权方案如下所示（如图4所示）：

其中I（logic）是一个指标函数，如果（logic）为true，则为1，否则返回零。 “∇”代表梯度运算符。

图5.提出的ReLayNet的训练和测试程序的整体流程。 训练过程包括切片OCT B扫描，如上所示。 在测试阶段，整个B扫描被端到端分割。
3.4。 优化
在训练ReLayNet的过程中，我们使用附加的权重衰减项进行正则化来优化这些损耗，定义如下：

权重为λ1，λ2和λ3且kW（·）kF表示ReLayNet权重W的Frobenius范数。 训练问题是估计与所有层关联的权重和偏差Θ= {W（·），b（·）}，以便使总成本函数最小化：

其中Θ∗是使整体成本最小化的最佳参数集。 使用具有动量和反向传播的随机小批量梯度下降来优化此成本函数。 成本函数的导数w.r.t. 参数Θ由下式给出：δJoverall/δθ＝δJoverall/δpl（x）*δpl（x）/δθ。 第二项δpl（x）/δΘ是通过链式法则通过反向传播梯度来估算的。 第一项，δJoverall/δpl（x）估计为：

单项损失的衍生条款推导为：


3.5。 OCT-B扫描切片和数据扩充
通过全宽OCT图像训练深度ReLayNet模型受到GPU中可用RAM的限制。 这要求我们以较小的批次大小进行训练，但是在训练时通常会导致非常嘈杂的梯度，并且损失曲线趋于发散[26]。 为了解决此问题，我们使用了一种数据切片方法，其中，将OCT B扫描沿宽度方向切片为一组不重叠的B扫描线，如图5所示。此外，我们通过引入随机水平方向来扩展切片数据 翻转以及轻微的空间平移和修剪。 必须注意，由于ReLayNet的分辨率保持特性，在测试期间，我们使用了整个B扫描图像，从而获得了无缝分割，而没有任何切片引起的伪像，如图5所示。
4.实验装置
4.1。 数据集
在DME患者的Duke SD-OCT公开数据集上评估了提出的框架[15]。 该数据集由110例注释的SD-OCT B扫描图像组成，大小为512×740，是从10位患有DME的患者中获得的（每位患者11幅B扫描）。 每位患者的11次B扫描以中央凹和中央凹两侧的5帧为中心进行注释（中央凹切片，并从中央凹切片以±2，±5，±10，±15和±20的横向扫描）。 两名专业临床医生对这110次B扫描标注了视网膜层和液体区域。 收购过程的细节在[15]中有报道。
4.2。实验设定
遵循[15]中报告的拆分此数据集的标准约定，我们将数据分为训练集中的主题1-5和测试集中的主题6-10（每组55个B扫描）。方程中损失函数的超参数（4）设为λ1= 1，λ2= 0.5，重量衰减λ3= 0.0001。对于我们的实验，我们根据经验设置ω1= 10和ω2=5。SGD优化是在小批量的= 50片切片中进行的，这些切片是从增强B扫描（参见第3.5节）中拼接而成的。在训练开始期间，学习率设置为0.1，并且每隔30个周期减少一个数量级。训练进行时的动力为0.9。对于所有深度学习比较方法和基线，为了公平比较（在第4.3节中讨论），训练参数保持恒定。所有网络都运行到融合为止。训练使用专家1注释进行，而专家2注释专用用于验证目的。实验在带有Intel Xeon CPU，一个12 GB Nvidia Tesla K40 GPU和64 GB RAM的工作站中运行。
4.3。比较方法和基准
提出的ReLayNet的性能是根据最新的视网膜OCT层分割算法进行评估的，尤其是基于图的动态规划（GDP）[13]（CM-GDP），具有GDP [15]的内核回归（CM-KR ）以及使用GDP [20]（CM-LSE）进行分层的结构化边缘学习。为了将ReLayNet与最新的深层FCN架构进行对比，我们包括与U-Net架构[19]（CM-Unet）和[17]提出的FCN架构（CM-FCN）进行比较。由于训练数据有限，与[19]中提出的原始架构相比，我们减少了CM-Unet的层深度。为了公平比较，深度，内核大小，通道数与ReLayNet保持相同。这有效地将我们的增量贡献（用于训练的复合损失的分拆层）作为对比结果的贡献要素。除了上述比较方法外，我们还提出了一些合理的变体ReLayNet，这些变体已设置为比较的基准，特别是强调了每个建议的贡献的重要性。下面详细介绍了所有基线，表1中详细列出了每个基线的显着方面。
4.4。 评估指标
细分效果的比较分析基于[15，20]中报告的3个标准指标进行。 这些包括骰子重叠分数（DS），每层的估计轮廓误差（CE）和每层的估计厚度图误差（MAD-LT）。 OCT-B扫描的横向分辨率在10.9µm至11.9µm之间[15]。 由于Duke SD-OCT数据集未报告单个扫描分辨率，因此我们求助于以像素为单位报告我们的误差指标，作为最近的替代指标。
表1.建议的ReLayNet的显着属性是体系结构的深度，损失函数，跳过连接以及损失函数中的加权方案。 基线的配置如下所示。


图6.中央凹附近具有DME表现的Test OCT B扫描的层和流体预测，如（a）所示，其中（b）为专家1注释，（c）为专家2注释，（d）为ReLayNet预测 和（ei）中定义的5种比较方法的预测。 CM-GDP和CM-LSE不包括流动性预测。 中央凹由黄色箭头指示。 具有小的流体质量的区域由小白框表示。
5.实验观察与讨论
5.1。 ReLayNet与比较方法的定性比较
我们将ReLayNet与以下两种情况的比较方法进行定性比较：采用DME的病理性OCT B扫描（如图6所示）和在中央凹远端无积液的OCT B扫描（如图6所示）。图7）。
OCT B扫描伴有积液：中央凹扫描（如图6（a）所示）代表了具有挑战性的病理情况，原因是中央凹区域存在积聚的积液和相对较薄的视网膜层（如图中的黄色箭头所示） 6）。我们进一步观察到，ReLayNet成功地将B扫描右侧的一个小液池（用白框显示）成功分割，而CM-Unet，CM-FCN和CM-KR预测无法捕获该小结构（图6（bd））。
评估中央凹附近层的分割性能（黄色箭头指示），观察到对CM-GDP的预测在没有det的情况下高度平滑，并且特别高估了NFL-IPL类，而低估了视网膜下层。相比之下，CM-GDP和CM-LSE得出的预测更为详细。但是，这些方法在分割时没有考虑到流体的存在，并且在靠近流体结构的位置，生成的厚度图可能是错误的。我们还观察到ReLayNet和CM-Unet的分割质量很高，可与其他人类专家相媲美，这表明基于F-CNN的框架具有广阔的发展潜力。我们还注意到，CM-FCN在流体等级上的表现非常差，并且在Fluid和RbR等级之间遭受高度混乱。与ReLayNet和CM-Unet相比，这决定了基于编码器-解码器的体系结构的贡献以及CM-FCN缺少的加权损失函数的使用。

图7.没有流体质量的测试OCT B扫描的层预测，在（a）中显示，在（b）中具有专家1注释，在（c）中具有专家2注释，在（d）中具有ReLayNet预测，并且在 在（ei）中定义了5种比较方法。
没有积液的OCT B扫描：图7（a）所示的框架代表了从中央凹远端获取的无液OCT扫描。 我们可以在各种比较方法之间保持一致的性能。 该观察结果还表明，比较方法已得到有效训练，并且主要区别在于存在病理学的情况下，通常需要这种客观分割工具。
5.2。 ReLayNet与比较方法的定量比较
为了对照比较方法对性能进行定量评估，我们在表2中报告了三个指标，即每个视网膜层的DS，MAD-LT和CE。我们还报告了流体类别的DS。从总体上看，ReLayNet在RaR，ILM，NFL-IPL，ONL-ISM，ISE和OS-RPE层中，在10级中的9类中显示出最高的分割效果，其DS均高于0.9。在所有比较方法中，CM-Unet在5个类别中的表现均排名第二。在ONL-ISM层的特殊情况下，ReLayNet在DS（0.93）中具有第二好的性能，与性能最佳的比较方法CM-LSE高度可比。此外，OPL层是要分割的最具挑战性的视网膜层（从两个专业观察者之间的低DS 0.74可以看出）。在这一具有挑战性的层中，ReLayNet的DS达到0.84，与其他比较方法相比有了显着提高，分别比CM-GDP，CM-KR和CM-LSE分别提高了0.17、0.10和0.07。除了改进的层分割之外，我们还观察到流体质量分割的实质性改善，并且报告的DS为0.77。在流体分割方面，ReLayNet在DS中的性能分别明显优于CM-Unet和CM-FCN，分别为0.10和0.49。与所有其他比较方法相比，CM-FCN在流体类别上的性能最差，为0.28 DS。
在MAD-LT指标方面，ReLayNet在所有组成层上均获得了一致的卓越性能。具体而言，CM-GDP在层ILM，NFL-IPL，OPL和ONL-ISM的厚度估算中表现最差。相反，由于CM-KR和CM-LSE包含了与GC相关的改进，因此它们具有可比的性能，并且优于CM-GDP。特别是对于ILM层，ReLayNet的MAD-LT分别比CM-GDP，CM-KR和CM-LSE高出2.50、0.24和0.26像素。与CM-UNet和CM-FCN相比，我们观察到与DS指标同时改善的趋势。关于CE指标，ReLayNet在ONL-ISM以外的所有层上均表现出最佳性能，其中CM-LSE和CM-GDP的性能优于建议的方法，分别为1.23和0.97像素。这是因为CM-GDP和CM-LSE不涉及流体类别的估计。通常在ONL-ISM层内存在的流体质量挑战了该层的轮​​廓估计。可以观察到，ReLayNet比CM-KR高出0.39像素，这也包括估计流体等级。
我们的总体定性和定量分析证实，ReLayNet的性能优于比较方法，这是基于引入了以下主要贡献的主要方法，其中包括：（i）骰子损失函数；（ii）使用解池层而不是卷积转置层或插值，这使ReLayNet与CM- Unet和CM-FCN。它还证明，尽管层边界扩散且存在斑点噪声，但ReLayNet能够比基于图的比较方法更好地估计层厚度，并且在病理变化中表现出一致性。
与其他人类专家观察者的比较：我们还比较了两个人类专家注释（专家1与专家2）和ReLayNet性能（ReLayNet与专家1）之间的一致性，并在表2中报告了观察到的指标。两位专家尤其通过视网膜层INL（0.79），OPL（0.74），OS-RPE（0.82）和体液类别（0.58）的低DS反映出，视网膜分割的任务是高度主观且具有挑战性的。这证实了我们需要客观解决方案的前提。将专家2注释与ReLayNet预测的注释进行比较，我们可以观察到与ReLayNet的基本事实（专家1）具有更高的一致性。
5.3。 ReLayNet贡献的重要性
跳过连接BL-1-3的重要性：与BL-1（没有任何跳过连接）相反，我们观察到ReLayNet在所有视网膜层和液团的分割性能上均优于。特别地，在流体类别中，观察到DS的0.09明显改善。这也反映在ONL-ISM层的MAD-LT和CE中，其中ReLayNet相对于BL-1分别提高了0.6和0.08像素的余量。观察到的这种改进归因于引入了跳过连接，该连接提高了深度模型的可训练性，并提供了从编码器功能图中导出的其他上下文信息，以提高分割效果[28]。为了进一步了解ReLayNet中各个级别的跳过连接的相对重要性，我们将BL-2（仅用于粗分辨率跳过连接）和BL-3（仅用于精细分辨率跳过连接）进行了对比。除了ReLayNet始终如一的出色性能外，我们特别观察到流体类别比BL-2和BL-3分别增加了0.08和0.11骰子得分。特别是对于ONL-ISM层，对于BL-2和BL-3，MAD-LT分别增加了1.6和1.5个像素。这些观察结果证实了我们的前提，即在所有分辨率级别上跳过连接都是非常重要的，引入这些连接会大大提高网络性能。