论文阅读笔记：Retinal blood vessel segmentation using fully convolutional network with transfer learning

Retinal blood vessel segmentation using fully convolutional network with transfer learning

使用全卷积网络与迁移学习的视网膜血管分割

关键词：视网膜血管分割、深度学习、全卷积网络、迁移学习、预训练模型

摘要

本文提出了一种基于预训练全卷积网络的迁移学习监督方法。该方法将典型的视网膜血管分割问题从全尺寸图像分割简化为区域血管单元识别和结果合并。同时，该方法还采用了附加的无监督图像后处理技术，对最终结果进行了细化。在Drive、Stare、Chase DB1和HRF数据库上进行了大量的实验，这四个数据库的跨数据库测试的准确性是最先进的，这也显示了该方法的高鲁棒性。这一成功的结果不仅有助于视网膜血管的自动分割，而且支持了将深度学习技术应用于医学成像时迁移学习的有效性。

1.介绍

当没有足够的公开可用数据集从头开始训练网络时，迁移学习是一个完美的解决方案。通常，训练卷积神经网络需要大量的带标签的训练数据，这在医学领域中是很难实现的，因为在医学领域中，专家注释很昂贵，疾病也很少见。对于视网膜血管分割这样的任务，四个数据库的视网膜彩色图像总数为133张，远远不能满足全卷积网络的训练要求。然而，通过迁移学习，利用自然图像数据集预训练的卷积神经网络模型，如ImageNet (Russakovsky et al.， 2015)，可以用于当前新的医疗任务。
有三个创新点最终使这项提议的工作获得成功。首先，该方法将典型的视网膜血管分割问题从全尺寸图像分割简化为区域血管元素识别。也就是说，血管像素要从一个区域识别到另一个区域，最后合并在一起。其次，由于这个问题的转移，使得训练数据可以从a hundred 扩充到 a hundred thousand，从而保证了深度网络训练的有效性。第三，对预处理的语义分割模型进行适当的微调，使区域分割任务变得更加容易。这种预先训练好的语义分割模型是AlexNet的全卷积版本，具有良好的像素对像素和端到端分割性能。

2.数据集和相关工作

2.1数据集

目前共有9个公开的视网膜血管数据库，其中Chase_DB1（视网膜图像分析）、Drive（Staal等人，2005）、HRF（Kohler等人，2013）、Stare（Stare项目，2013）数据库包含视网膜颜色图像和视网膜血管ground truth图像。由于血管分割的研究需要将血管基础真实性作为一个金标准，因此，其他5个数据库，如Diaretdb1 v2.1（Tomi等人，2009年）、Messidor（Decenci_re等人，2014年）、Review（al-Diri等人，2008年）、Roc（Niemijer等人，2010年）和Vicavr数据库，在本研究中没有使用。
大多数视网膜血管分割方法都是在DRIVE和STARE数据库上进行评估的，因为它们的质量都很好，而且至少已有15年的历史。CHASE_DB1和HRF数据库相对较新，但也具有良好的图像质量。这四个数据库将用于训练和测试所提出的监督方法。

2.2相关工作

根据Fraz在2012年的调查（Fraz等，2012a），现有的二维视网膜图像视网膜分割技术可归纳为六类，即（i）监督模式识别，（ii）数学形态学 ，（iii）匹配滤波，（iv）血管跟踪，（v）基于模型的方法和（vi）并行/硬件方法。 如今，由于混合方法将几种不同类别的方法结合在一起，由于其卓越的性能而越来越受欢迎，因此很难将其分类为特定的组。 因此，在这些年来更容易接受的另一种分类方式中，现有的作品可以分为两大类：监督和非监督方法。

2.2.1 监督方法

监督方法利用提取的特征向量，即标记的训练数据，训练分类器，对视网膜彩色图像中的视网膜血管和非血管像素进行自动分类。该算法将在训练数据集的基础上学习一套血管提取规则。标记训练数据集在监督方法中非常重要，因为血管分割的知识是直接从眼科医生手工分割的图像中获得的。因此，在单数据库测试中，有监督的方法的性能通常要优于无监督的方法。与监督方法相关的文献引用最多的是Staal et al. (2005)， Soares et al. (2006)， Ricci and Perfetti (2007)， Lupasscu et al. (2010)， Marin et al.(2011)。Staal等(2005)利用knn分类器和序列正向特征选择对特征向量进行分类。Soares等人(2006)的工作用灰度强度和二维Gabor小波变换组成了特征向量。Lupasscu等人(2010)甚至基于局部强度结构、空间特性和多尺度几何构造了41维特征向量。Marin等人(2011)的工作将神经网络应用于像素分类，并计算出一个7维特征向量。Ricci和Perfetti(2007)的工作利用了线算子和支持向量机，在单数据库测试中取得了上述工作中最高的精度。然而，在跨数据库测试中，它的准确性显著下降。
近5年来，随着计算机硬件的发展和卷积神经网络技术的成熟，深度学习已成为一般数据分析的发展趋势，并被称为2013年麻省理工学院技术评论的十大突破性技术之一（深度学习ING）。一些作品在视网膜血管分割中使用了深度学习技术，取得了令人惊讶的好结果（Wang等人，2015；Liskowski和Krawiec，2016；Fu等人，2016；Soomro等人，2017；Li等人，2016）。王等人的工作（2015）结合了两个高级分类器-使用卷积神经网络作为可训练的层次特征抽取器，使用随机森林作为可训练的分类器。Liskowski和Krawiec（2016）的工作还应用了卷积神经网络，通过大量增强和预处理图像进行训练，这些图像具有全局对比度归一化、零相位白化、几何变换和伽马校正。傅等人的工作。（2016）利用具有强大诱导能力的宽而深的神经网络，将分割任务重新定位为视网膜图像到血管图的跨模态数据转换问题。Soomro等人的工作。（2017）以提高灵敏度为重点，提出了一个全卷积的神经网络，以及预处理和后处理步骤，即使在低对比度情况下也能检测到细小血管。

2.2.2 无监督方法

无监督分类方法的目的是直接从视网膜彩色图像中寻找视网膜血管的固有模式，并判断像素是血管的一部分还是非血管。与监督方法不同，无监督方法不需要训练数据和训练过程，而且通常具有(不一定)更高的鲁棒性和更快的执行速度。如前所述