DCU-Net：a deformable convolutional neural networkbased on cascade U-net for retinal vessel segmenta

DCU-net:一种基于级联U-net的可变形卷积神经网络用于视网膜血管分割

摘要：为了进一步提高视网膜血管分割的精度，我们提出了一种基于级联U-Net的可变形卷积神经网络:DCU-Net。DCU-Net的总体结构由两个U-Net组成。引入可变形卷积构建特征提取模块，增强了模型对血管变形的建模能力。为了提高U-Net模型间信息传递的效率，我们使用残差通道注意力模块连接U-Net。DCUNet在公共数据集上取得了很好的效果。在DRIVE和CHASE_DB1数据集上，Acc分别达到0.9568、0.9664,AUC分别达到0.9810、0.9872。实验结果表明，残差通道注意模块和残差变形卷积模块极大地提高了视网膜血管分割的精度。我们的方法的综合性能优于一些最先进的方法。

1 介绍

视网膜血管的结构可以作为相关疾病的重要诊断依据。然而，由于视网膜血管结构的复杂性和个体差异，在直接提取的彩色视网膜图像中，血管与背景的对比度很低。特别是在血管末端，人眼很难从背景中有效区分血管。这给相关疾病的诊断带来了很大的困难。因此，视网膜血管的自动分割具有在现代医学中有很大的应用价值。许多研究者已经提出了大量的算法来解决这个问题。常用的基于机器学习的视网膜血管分割方法依赖于人工设计特征。因此，它要求研究人员具备优秀的专业知识。另一方面，这种方法只能独立对像素进行分类，导致推理速度慢，应用困难。

近年来，随着人们对健康的重视，医疗服务与计算机技术相结合的趋势更加明显[4-6]。特别是深度学习技术发展迅速，取得了令人瞩目的医学图像分割成果。由于全卷积网络(fully convolutional network, FCN)[17]已经成功地应用于图像分割任务，使得图像分割的性能和速度得到了显著的提高。基于fcn的图像分割方法很快被引入到医学图像分割中，其中许多方法在视网膜血管分割任务中表现良好。例如，众所周知的U-Net网络[23]可以同时考虑全局上下文信息和局部纹理信息，仅用少量数据就可以获得良好的分割性能。U-Net也被应用于其他图像分割应用[14]，基于U-Net的图像分割模型不断被提出。这些模型的分割性能和推理速度也得到了提高。Zhou等[32]将DenseNet应用于U-Net的跳接通道，以提高不同层之间的信息交换。jsamuou等[10]在U-Net的下采样编码路径和上采样解码路径中加入密集连接进行特征提取，有效提高了室外场景分割的精度。Oktay等[21]利用U-Net解码器与跳越连接信道之间信息融合中的注意机制，构建了注意U-Net，有效提高了模型性能。R2U-Net (Recurrent residual convolutional neural network，基于U-Net的循环残差卷积神经网络)[1]将循环神经网络嵌入到U-Net网络中，构建了结合残差连接的图像分割模型。该模型在视网膜血管分割、皮肤癌分割、肺部分割等方面都有很好的效果。miletari等[19]提出了V-Net (Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation)，将U-Net引入到三维图像分割中。该方法还成功地应用于前列腺磁共振图像的分割。Li等[15]在常规U-Net的基础上提出了混合密集U-Net (Hybrid DenseU-Net, H-DenseU-Net)，将二维特征和三维上下文信息有效融合，并进行联合优化，实现肝脏和病变的准确分割。

与自然图像的语义分割相比，医学图像分割模型通常需要考虑训练数据较少和训练样本不平衡的问题。视网膜血管分割是训练数据不足、正负样本严重失衡的典型案例。该问题一直是医学图像分割领域的研究热点。随着深度学习技术的发展，人们提出了许多高性能的视网膜血管分割算法。Li等[12]将视网膜血管分割问题转化为从视网膜图像到血管图像的跨模态数据转换，提出了一种新的视网膜血管分割网络。Ngo等[20]将多尺度视网膜图像输入到卷积神经网络(CNN)中，并使用dropout技术增强模型泛化。Feng等[7]设计了CcNet(cross-connected convolutional network，交叉连接卷积网络)，对主通道和副通道之间的特征进行多次融合，使模型能够融合多层次的特征信息。Wu等[27]构建了基于normal U-Net的视网膜血管分割网络，可以融合多尺度信息。此外，他们进一步提出一种基于多尺度深层特征的多路径监督视网膜血管分割方法[28]。Araujo等[2]提出了一种视网膜分割模型，其中典型的分割网络和变分自动编码器(VAE)级联。该网络通过学习丰富紧凑的结构空间来纠正拓扑不一致性。Yu等[30]提出了一种基于知识转移和形状一致的无监督生成对抗网络(GAN)用于小管动脉分割，有效降低了医学图像标注的成本。Zhang等[31]利用U-Net结构和残差连接设计了一种新的视网膜血管分割网络。该方法通过在边界区域添加新的标签，将原任务转化为多类分割，有效地提高了视网膜血管分割的性能。Wang等[26]研究了一种基于双编码器的视网膜血管分割网络(DEU-Net)。利用高分辨率空间路径保留空间信息，设计多尺度卷积捕获语义信息，构建特征融合模块实现不同层次特征的融合。LadderNet[34]将两个原始的U-Net模型通过多通道级联，构建了更深层次的级联U-Net模型，有效提高了视网膜血管分割性能。

视网膜血管分割不同于其他医学图像分割任务，如肺实质分割、胰腺分割、肝脏分割等。视网膜血管的几何变形较大，导致相当大的性能损失。为了解决这一问题，本文对级联U-Net模型进行了改进。首先，针对血管的几何变形，设计了残差形变卷积模块。其次，为了提高U-Net高级别互联网络间的信息融合效率，提出了一种U-Net信息融合残差信道关注模块;我们的算法在开放的视网膜血管分割数据集上得到了验证。其综合性能优于一些最先进的方法。

2 我们的方法

本文构建了一种基于级联U-Net (DCU-Net)的可变形卷积神经网络用于视网膜血管分割。针对现有模型无法对血管变形进行建模的问题，构建了残差变形卷积模块(Residual deformation Convolution Module, RDCM)，有效提高了血管变形建模能力。此外，我们设计了一种新的残差信道关注模块(RCAM)来级联U-Net网络，有效地提高了子网之间的信息交换。从而进一步增强了网络的特征表达能力，降低了模型的优化难度。

2.1 整体网络架构

U-Net以其优异的性能在医学图像分割中得到了广泛的应用。但是，原来的U-Net网络并不适合所有的任务。对于一些复杂的任务，由于U-Net网络的深度较浅，其特征提取能力受到限制。特别是对于血管等复杂物体的分割，U-Net的效果并不理想。本文设计了残差变形卷积模块(residual deformation convolution module, RDCM)，并将其集成到U-Net网络中，有效提高了血管变形建模能力。另一方面，U-Net本身的层数并不是很大，这限制了网络更好地学习特征的能力。一个可行的解决方案是将U-Net作为一个子模块，然后将其级联以加深网络。为了保证各子模块之间有效的信息交换，保证U-Net主备子网的特性能够有效地融合，提出了一种残差信道注意模块(RCAM)来连接U-Net子网。

图1显示了我们的DCU-Net的总体框架，它由两个U-Net子网组成。预处理后的视网膜数据输入网络后，通过主U-Net进行一次编解码。首先使用常规卷积提取特征，然后使用RDCM模块提取特征。然后，使用步长为2的卷积层对特征映射进行缩放，通道数增加一倍。这个过程是递归的。经过三次降采样后，模型完成一次编码，进入一次解码过程。对特征映射进行步长为2的转置卷积上采样，并将结果添加到相同大小的主要编码特征映射中，然后进行RDCM模块。使用类似的结构，直到特征图像的大小与输入图像的大小相同。二级U-Net和主U-Net的结构基本相同。不同之处在于，当两个U-Net网络连接时，我们利用主解码得到的多级特征图，通过RCAM模型添加从U-Net网络的同级编码特征图，以提高U-Net子网之间信息融合的效率。当二次U-Net网络解码到与输入图像相同的大小时，通过卷积层对信道进行压缩，然后利用sigmoid激活函数获得像素级船舶预测概率。

图1  DCUNet结构

2.2 残差可变形卷积模块

本文基于可变形卷积设计了残余可变形卷积模块(RDCM)，如图2所示。主通道由两个可变形卷积之间的ReLU激活，并使用DropBlock保证模块的泛化能力。然后用跳跃连接对输入求和，并由ReLU激活。如果两个可变形卷积的参数相互共享，则可以进一步提高模型的效率。假设输入和输出的特征映射分别为X和Y，则RDCM可以表示为:

式中Dc和Dr分别为可变形卷积和DropBlock， σ为ReLU激活函数。

RDCM结合了可变形卷积和残余结构。它可以嵌入到任何现有的网络中，取代卷积运算，提高模型对具有几何变形的物体的适应性。全连接CNN在图像分割方面取得了很大的成功，可以实现快速的端到端图像分割。它成功的基础是卷积。与全连接神经网络相比，卷积运算具有局部连接和权值共享两方面的优势，显著降低了模型参数局部感受野的特征与动物视神经相似，但常规卷积的卷积核是固定的，不能很好地拟合具有几何变形的物体。由于视网膜血管分支结构复杂多变，传统的卷积算法并不是视网膜血管分割的最佳选择。变形卷积[33]是一个可以对物体几何变形进行建模的模块。它可以在推理过程中动态调整卷积核的采样位置偏移，从而提高卷积神经网络的特征表达能力。因此，我们在模型中引入了可变形卷积模块，以获得更好的分割效果。

通过在标准卷积中的每个采样点上添加一个可学习的偏置来形成可变形卷积。对于输出特征映射y上的点y(p0)，可以表示为：

其中，wk为对应采样点的权值，Δpk为可学习偏差。Δmk是偏置强度控制变量。当Δpk不是整数时，对输入特征映射进行双线性插值得到x(p + pk + Δpk) i的值。

可变形卷积的结构如图3所示。主通道由常规卷积构成。辅助通道通过卷积学习空间域的偏移量，通道数为3N，其中N为卷积核的大小。N通道学习空间偏置，N通道学习偏置强度控制变量Δmk。

在RDCM模块中，我们采用dropout技术[24]随机灭活部分神经元，显著提高了模型泛化能力，有效防止了模型过拟合现象。然而，CNN的运行对这种随机失活并不敏感。如图4所示，由于卷积接受场中的像素通常在语义上相似，因此神经元的全局随机失活不会显著影响卷积结果。因此，dropout不适合cnn。

为了更好地提高分割效果，我们使用DropBlock[9]技术。它丢弃特征图相邻区域中的单元，以减少网络输出对局部特征的依赖。总之，DropBlock可以显著提高网络的准确率和泛化能力。

2.3 残差通道注意模块

为了实现U-Net子网之间的有效信息融合，我们构建RCAM连接U-Net子网，如图5所示。通道注意机制[11]通过学习自动获得每个特征通道的重要度，然后用得到的重要度对特征图中的不同通道进行加权。为了有效利用特征图中各通道的全局激活度和最大激活位置信息，我们的RCAM模块采用全局平均池化和最大池化来生成通道关注权，并采用残差连接来增强信息交换。

设给定的输入特征图为XH × W × C，其中W h r C为特征图的通道号，h和W分别为特征图的高度和宽度。我们分别对XH × W × C进行最大池化和全局平均池化，将特征映射XH × W × C的大小压缩为1 × 1 × C，得到两个分支的n, bk(k = 0,1)

式中，Hmp(·)和Hap(·)分别为最大池化函数和全局平均池化函数，xC(i, j)为特征映射XH × W × C点(i, j)处的值。

池化操作后，通道中的特征b0和b1通过全连通层压缩为C/R并求和。然后，使用ReLU激活函数和全连接层将压缩通道扩展到c，使用Sigmoid函数激活每个通道的权值，得到如下公式:

式中，δ为sigmoid函数，σ为ReLU激活函数，H fcl ?ð Þ l¼1;2ð Þ表示线性全连通网络的两个操作。我们使用ReLU来保证梯度在网络中的有效传播。在最后一层，网络通过Sigmoid得到类预测概率。

最后，输入特征映射X和通道权值w逐个通道进行正交。引入跳变连接后，RCAM的输出可以表示为总的来说，本文提出的RCAM模块是在信道注意机制的基础上进行改进的。它有效地融合了平均池化信息和最大池化信息，得到特征映射中所有通道的权值。此外，该模型利用剩余连接保证梯度有效传播，进一步加强了U-Net子网间的信息融合。

3 实验结果及分析

3.1 数据集

在本文中，我们使用两个公开的眼底视网膜数据集来验证算法的有效性。DRIVE数据集[25]包含40张眼底视网膜彩色图像，其中7张图像显示轻度糖尿病视网膜病变的迹象。每张图像的分辨率为565 × 584。CHASE_DB1数据集[22]包含14名儿童眼底视网膜的28张彩色图像，每张图像的分辨率为999 × 960。上述每个数据集都包含由两位专家手动标记的血管分割标签。在实验中，我们使用第一次专家标注的结果作为模型训练和评估的标准结果。为了更准确地验证有效性，该模型仅在视觉领域进行训练和评估。在此外，DRIVE数据集为视图字段提供了二进制掩码，但CHASE_DB1数据集没有提供。在本文中，我们手动提取视野中的掩模用于模型训练和评估。

3.2 评价标准

在本文中，我们使用准确性(Acc)、灵敏度(SE)、特异性(SP)和ROC曲线下面积(AUC)来评估我们的模型的性能。具体来说，SE衡量模型区分前景(血管)的能力，SP衡量模型区分背景(非血管)的能力，Acc和AUC衡量整体分割性能。在所有四个标准中，值越大表示性能越好。计算公式如下:

其中TP为分类正确的前景(血管)像素，TN为分类正确的背景(非血管)像素，FP为被错误分类为前景(血管)像素的背景(非血管)像素，FN为被错误分类为背景(非血管)像素的前景(血管)像素。另外，通过计算ROC曲线下面积得到AUC。为保证评价的合理性，所有评价指标均在视野范围内进行计算。

3.3 数据预处理

在彩色视网膜图像中，血管与背景对比度较低，光照不均匀明显。特别是在血管末端，人眼很难区分血管区域。它会影响的准确性模型分割。因此，需要对原始数据中的血管区域进行预处理。对比图6中样本图像的三个通道，发现通道G的血管最明显，可以选择通道G来训练模型。然而，通道G在光学杯附近的照明强度较大，而在像场边缘区域的照明强度明显减弱。因此，我们使用CLAHE[35]算法对图像的对比度进行调整，以提高血管与背景的对比度。

3.4实验环境及参数

由于公共数据集中数据量较少，需要对预处理后的图像数据进行进一步采样和放大。我们从训练集的每张图像中随机抽取1万个3 × 3的图像块，那么从DRIVE的训练集中可以抽取20万个训练样本。我们取其中的10%作为验证集。图7显示了从DRIVE数据集提取的训练样本的视觉效果。对于CHASE_DB1数据集，实验也使用相同的方法提取训练数据。

模型训练参数设置:在训练中，我们将训练样本随机裁剪为48 × 48的大小，并采用随机的水平和垂直翻转策略。使用默认参数选择Adam优化器。初始学习率设置为0.0001，通过余弦函数衰减策略动态调整学习率。DropBlock的随机保持概率设置为0.18,BatchSize设置为32,epoch设置为20。

实验程序是基于Python 3.6和Python深度学习框架编写的。它使用Gtx2080ti显卡在ubuntu18.04系统上进行训练和测试。

3.5实验结果

我们对DRIVE和CHASE_DB1数据集进行了模型性能评估，并使用数据集中第一个专家标记的结果作为标准结果。根据一定步长的滑动窗口对测试图像进行分块测试，然后对预测结果进行拼接得到最终的预测图像。在我们的实验中，选择一个96 × 96的滑动窗口，滑动步长为8。表1显示了在两个不同数据集上的测试结果。

从表1可以看出，我们的方法在两个数据集上的Acc、SE和SP都高于第二个观察者的人工分割结果。这有力地证明了该算法在视网膜血管提取任务中的有效性。f1得分在82%以上，说明我们模型的整体预测能力是优秀的。

表1还显示了DCU-Net的分段速度。DRIVE和CHASE_DB1数据集上每个图像的平均分割时间分别为10.53秒和33.91秒。

DCU-Net的分割速度比人工标记快得多，表明该方法在医学领域具有一定的应用价值。图8显示了本文算法在DRIVE和上的ROC曲线和PR曲线

CHASE_DB1数据集。从图中可以看出，DCU-Net在两个数据集上的AUC值都大于98%，说明我们的模型性能优越。

图9显示了一个在DRIVE和CHASE_DB1数据集上的DCU-Net模型分割结果示例。可以看出，我们算法的分割结果非常接近标准分割。DCU-Net可以从背景中区分血管，并正确分割主血管和边缘血管。验证了DCUNet在视网膜血管分割中的有效性。

为了测试RDCM和RCAM对整个模型性能的贡献，我们在DRIVE数据集上进行了烧蚀实验。实验结果如表2所示。从表中可以看出，DCU-Net的F1得分、SE、SP、Acc和AUC分别达到0.8272、0.8115、0.9780、0.9568和0.9810，参数量约为1 m。与基准模型相比，最终模型的F1得分提高了1.04%，SE提高了3.37%，Acc提高了0.12%，AUC提高了0.38%，SP降低了0.35%。总的来说，我们的模型的性能得到了显著的提高，这表明了DCU网络模型在视网膜血管分割任务中的有效性。

我们的DCU-Net在级联U-Net的基础上结合了可变形卷积和注意机制的优点。为了验证融合策略的有效性，我们将所提出的DCU-Net与近年来提出的一些最先进的视网膜血管分割算法进行了比较。实验结果如表3所示。从表中可以看出，我们模型的SE、SP、Acc、AUC分别达到0.8115、0.9780、0.9568在DRIVE数据集上分别达到0.9810，在CHASE_DB1上分别达到0.8075、0.9841、0.9664和0.9872。与近两年其他视网膜血管分割模型相比，DCUNET在DRIVE和CHADEB1数据集上的F1-score、SE、Acc和AUC较高，而在DRIVE数据集上的SP略低。从两个数据集上的测试结果来看，DCU-Net的整体性能优于其他基于u - net的模型和近两年提出的其他视网膜血管分割算法。总之，DCU-Net具有出色的视网膜血管分割能力，具有较强的应用价值。

4 结论

针对现有模型无法对血管变形进行建模的问题，提出了一种基于形变卷积和残差结构(RDCM)的特征提取模块，有效提高了血管变形的建模能力。此外，我们进一步构建了残差通道注意机制模块(RCAM)，对U-Net的基本网络架构进行级联，增强了网络特征表达能力，降低了模型优化难度。与其他U-Net系列视网膜血管分割网络相比，该算法在公共数据集上的综合性能有显著提高。然而，仍有一些问题需要解决。虽然该算法的参数数量很少，但由于采用了可变形卷积，使得模型的复杂度更高。它降低了模型的推理速度，提高了计算资源的利用率。

在未来的工作中，我们将尝试设计一个更紧凑的轻量级CNN，通过模型量化、剪枝和模型蒸馏来实现快速的视网膜血管分割。此外，我们将尝试结合血管跟踪、模板匹配等传统血管分割方法，减少对病变区域和小血管断裂分割的错误识别，从而进一步提高模型的分割精度。