论文阅读——Boosting Connectivity in Retinal Vessel Segmentation via a Recursive Semantics-Guided Network

Boosting Connectivity in Retinal Vessel Segmentation via a Recursive Semantics-Guided Network
借助递归优化和语义引导网络提升视网膜血管分割的连通性

From：MICCAI2020


Institute：大连理工大学国际信息与软件学院&立命馆大学情报理工学部

Abstract

基于深度学习进行视网膜血管分割已经提出了很多算法，但是很少有演技关注到血管分割的连通性问题，但这对计算机辅助诊断系统却是至关重要的，本文则提出了一款高效的网络框架解决这一问题。



通过引入语义引导模块丰富浅层的语义信息，从而引导Unet网络学习更具表征的特征；此外通过迭代细化的方式将相同的网络作用于之前的分割结果，从而在不增加额外网络参数的前提下逐步提高网络性能。这种精巧设计的递归语义引导网络在一些通用的数据集上进行了测试，均显示出了有效性。

Section I Introduction

视网膜血管分割是计算机辅助诊断系统对是网络疾病进行诊断中的关键一步。已有诸多神经网络算法用于提升视网膜血管的分割精度，常规思路是借助深层网络进行密集分割，获得每一像素点的类别概率没然后通过阈值分割血管部分，通常使用AUC（ROC）等指标进行评价。



但是这些评价指标无法对分割血管的拓扑结构和连通性进行评估。即使有的算法这些评价指标很高，但是分割出的血管依然有断点。本文则提出了如何改进血管连通性的方法，并且从血管拓扑结构方面进行评估。



U型网络被广泛用于视网膜血管分割任务中。原始的UNet将深层与浅层相连，不可避免的稀释了嵌入其中的语义信息，而语义信息恰恰对视网膜血管分析十分重要，不仅可以提供更多鲁棒的特征提升一些毛细血管（weak vessel?)的分割，消除由于光照或视网膜病理带来的异常影影响，还可以提供全局的线索辅助血管树的识别。因此语义特征对于消除血管分割断电是至关重要的。




前人的一些探究有尝试向UNet中增加语义信息，比如Wang[12]设计了Dual-UNet结构，通过增加一条上下文路径来捕获更多的语义信息；Xu[16]则是设计了多级聚合模块来聚集语义信息。可以看到上述工作大多通过设计更为复杂的结构，如增加网络连接或者引入具有一定规模的自网络来进行改进。




本文则与它们不同，是通过应用已经广泛使用的网络模块或操作来设计简便但更高效的模块，不仅可以充分提取到深层次语义信息还可以引导网络学习有助于血管连通性的特征。





除此之外，逐渐改进的方式（refinement）也很少在之前血管分割方面提到。比如Wu[14]通过加入一个额外的多尺度网络级联在分割网络之后来提升分割效果；Ara[1]等人则是通过在分割网络之后堆叠一个变分自编码器（VAE）来提升血管分割的拓扑一致性





[A Deep Learning Design for improving Topology Coherence in Blood Vessel Segmentation]。





但这种级联的方式不可避免的引入了新的网络参数，也需要更多标签数据用于训练。






为此，本文采用一种不同的逐渐改进的方式：只使用一个网络然后递归的优化它的输出。






这种迭代优化的方式不会增加额外的网络参数，同时又可以有效的提升血管分割的连通性。







本文的主要工作总结如下：








（1）设计了一个简单但高效的模块用于提升血管分割的连通性；








（2）设计一个语义引导模块来引导分割网络学习更强大的特征，从而提升UNet的分割能力；








（3）以迭代优化的方式在不引入额外网络参数的前提下不断优化结果。

Section II Recursive Semantics-Guided Network

Part A Network Architecture
本文设计的迭代语义引导网络来增强视网膜血管分割的连通性。Fig2展示了具体结构，主要就解决原始UNet中语义信息被稀释的问题。因为高层次语义信息对视网膜血管分割十分重要，也较少受到如光照或病理等异常的影响，对于识别血管树是能够提供全局信息的，因此有助于充分利用这一信息来提升血管分割和连通性。
本文的语义引导模块（Semantics-guided module)就会逐渐凝练这种语义信息来引导网络产生更加鲁邦的特征；还有采用迭代优化的方式进一步提升血管分割的连通性。与常规采用级联堆叠网络的方式不同的地方在于，本文这种方法会重复使用同一个网路只不过将前一次输出的结果作为输入再次迭代进去，这样可以在不增加额外网络参数的前提下进一步提升连通性。

Fig2的上部展示了网络的整体结构，可以看到骨干网络还是基于3层的UNet结构。在encoder部分，每一层包含两次3x3卷积，使用ReLU激活，池化则采用的是最大池化。

主要改进集中在解码decoder部分，其中红色部分就是语义引导模块，还额外增加了一个金字塔池化模块，黄色部分表示，具体结构在下面，可以看到使用不同的卷积核结合1x1卷积得到；同时还要注意到在解码部分的第3、2层都有一个side output（紫色箭头）负责提供监督信息。
下面就分小节将每一模块的细节。
Part B Semantics-Guided Module

首先来讲红色框标注的语义引导模块。
主要由一个金字塔池化模块和两层特征聚合模块构成。金字塔池化模块采用解码器第三层作为输入，主要是考虑到深层神经网络的感受野并不是那么大，即使是最深的那一层；而精确地血管分割又离不开在较大范围内感受野获取的全局信息，用于获取整体的血管树，防止断点的出现。
因此为了获取更加全局的语义信息，本文在最深一层连接了这么一个金字塔池化模块，Fig2下方展示了详细的结构，可以看到卷积核尺寸分别是1,3,5,7对应不同的感受野，随后在通过1x1卷积将特征通道数压缩至C/4从而匹配各特征图的大小。最后经过1x1卷积+ReLU获得全局的一个语义信息结果，提供给后续的特征聚合模块。

特征聚合模块的具体结构展示在Fig2的右下方，主要作用是引导网络学习更有效的特征。因为可以看到除了接受解码器中前一层通过上采样输入的信息（green arrow)， 浅蓝色箭头则代表了金字塔池化模块输出的结果，两者先通过element-wise summation进行融合然后在与来自encoder对应层的特征图进行级联。
最终在经过两次3x3卷积获得更具表征性的特征。

Part C Recursive Refinement & Network Training 


尽管借助语义引导模块已经可以有效提升血管分割的连通性了，但还可以听过递归迭代的方式逐渐增强弱血管的分割，去除断点，将结果进一步优化。
这是怎么做的呢？



就是Fig 2中虚线箭头Iteration代表的部分。这种方式在[5][6]的工作中被使用，表明当假设Lipschitz连续时，以前的结果总是可以结合原始输入迭代的进行优化。而且这种迭代的方式不需要那么多的标注数据，因为并没有增加额外的网络参数。


本文的迭代优化方式可公式化的表述为：



其中x代表输入的patch，y-bar-i表示第i次迭代的预测结果，c表示通道级联，I代表总共迭代的次数。最开始初始化的预测结果是y-bar-0=0也就是全空预测，最终输出的预测结果用y-bar-I表示。

本文提出的网络可以进行端到端的训练，优化所有迭代次的损失函数的加权和即可。每一次迭代的预测结果作为master loss，用L1表示，还有两个深层监督提供的辅助损失L2和L3。

因此每一次迭代计算的是这三个损失函数的组合，此外使用的是BCEw，也就是给假阴例子施加更多的权重。
最终所有迭代次数后总的损失函数计算如下：

Z是归一化因子，为了训练稳定性，基于后期迭代更高的权重。
在实际的实验中最开始不经过refinement这一步，也就是说迭代次数I=1,随后逐渐将I设置到3.

Section III Experiments &Results

Part A 数据集及评价指标



数据集：DRIVE、STARE、CHASE_DB1.




评价指标：




常规的分割指标：AUC、SE、SP




血管连通性指标：
[13]中评价网络拓扑结构的指标以及[1]中关于路径infeasible或correct的指标。











这种连通性计算通过随机选取均在GT和分割图谱中的两个点，然后衡量这两点的最短路径在GT和分割图谱中的距离是否长度相等。






这一计算会重复多次从而记录正确以及不可达路径的百分比出来。越高的Correct和越低的Infeasible指标表明分割血管的连通性越好。
本文中通过迭代1000次获得这一百分比。
此外本文所有的二值化分割结果都是基于[8]Otsu的阈值发得到的。







Part B 消融实验







为了测试语义引导模块和迭代优化方式是否有效还进行了消融实验，都是基于DRIVE数据集。详细的结果参见Table I.









其中基线模型就是3层的UNet+supervision，method-a仅使用语义引导模块；method-b仅使用循环迭代优化。method-c是两者皆用。







可以看出，虽然常规的分割指标如SP,SE等并没有很明显的变化，但本文的方法与基线模型相比，INF提升了21.7%，COR提升了12.2%,确实证明了有助于提升血管的连通性。
此外，Fig4还给出了一系列可视化的结果，可以看到a基线模型的连通性是最差的，而语义引导模块一定程度上提升了连通性，在此基础上结合迭代优化，不仅血管分割越来越精确，血管的连通性也得到了进一步提升。

Part C 与其他算法的对比
本文与之对比的是Ara[1]堆叠VAE的UNet结构，因为和本文的工作一样，都是致力于提升血管的连通性的。此外还对比[7]Oliveira提出基于多尺度和静态小波变换的全卷积神经网络、[16]Xu的多尺度与依据和网络，对比结果参见TableII。

当这些算法对比INF和COR指标时差距就显而易见了，尤其是在CHASE-DB1数据集上，比第二名的指标提升了19.1%（INF）和15.4%（COR）。
Fig5从左到右分别展示了原图、GT，预测图谱和分割图谱，三行依次是DRIVE、CHASE-DB1和STARE的图像。

Section IV Conclusion

本文提出基于循环优化和语义引导模块的分割模型来提升血管分割连通性，其中语义引导模块借助语义信息引导分割网络学习更具表征能立的特征，而递归迭代优化模块在不增加网络参数的前提下迭代优化网络结果。这种算法的有效性在广泛的实验中均得到了验证。