Muiti-task Neural Networks with Spatial Activation for Retional Vessel Segmentation and Artery/Vein

最新推荐文章于 2024-09-16 16:42:50 发布

_叽里咕噜噜

最新推荐文章于 2024-09-16 16:42:50 发布

阅读量364

点赞数 1

文章标签：神经网络

本文链接：https://blog.csdn.net/qq_41157173/article/details/114835007

版权

阅读文章：Muiti-task Neural Networks with Spatial Activation for Retional Vessel Segmentation and Artery/Vein Classification

文章来源：https://arxiv.org/ftp/arxiv/papers/2007/2007.09337.pdf

摘要：

提出现状：视网膜血管分割在临床上有重大作用；常规方法复杂，且其精确度取决于血管分割
主要网络：具有空间激活机制的多任务神经网络（能够同时分割动/静脉和视网膜血管）

输入模块：视网膜预处理和血管增强技术
输出模块：空间激活机制（能够提高分割性能）
加入深度监督：获取底层语义信息

结果：在 AV-DRIVE dataset和INSPIRE-AVR dataset

简介：

现实意义：全身和心脑血管疾病在视网膜血管中有体现，临床意义大
方法：

两阶段方法和基于图的方法

两阶段方法：

先从背景中分割视网膜血管；
再将每个像素分类静/动脉

Niemeijer, M., van Ginneken, B., Abr`amoﬀ, M.D.: Automatic classiﬁcation of retinal vessels into arteries and veins. In: Medical Imaging 2009: Computer-Aided Diagnosis, vol. 7260, p. 72601F (2009)

Xu, X., Ding, W., Abr`amoﬀ, M.D., Cao, R.: An improved arteriovenous classiﬁcation method for the early diagnostics of various diseases in retinal image. Comput. Methods Programs Biomed. 141, 3–9 (2017)

基于图的方法：

将眼底血管构建为graph
节点分析和图分析作为分类依据
利用graph tree将血管分类为动脉和静脉

Dashtbozorg, B., Mendon¸ca, A.M., Campilho, A.: An automatic graph-based approach for artery/vein classiﬁcation in retinal images. IEEE Trans. Image Process. 23(3), 1073–1083 (2014)

Estrada, R., Allingham, M.J., Mettu, P.S., Cousins, S.W., Tomasi, C., Farsiu, S.: Retinal artery-vein classiﬁcation via topology estimation. IEEE Trans. Med. Imaging 34(12), 2518–2534 (2015)

Zhao, Y., et al.: Retinal artery and vein classiﬁcation via dominant sets clusteringbased vascular topology estimation. In: Frangi, A.F., Schnabel, J.A., Davatzikos, C., Alberola-L´opez, C., Fichtinger, G. (eds.) MICCAI 2018. LNCS, vol. 11071, pp. 56–64. Springer, Cham (2018). https://doi.org/10.1007/978-3-030-00934-2 7

局限：动静脉分类性能取决于前期血管分割的结果，如断裂、错误分割的血管

2.基于FCN的方法

同时分割血管并对动静脉血管分类
AlBadawi将FCN应用于编码-解码器对动静脉进行像素级别的分类：

AlBadawi, S., Fraz, M.M.: Arterioles and venules classiﬁcation in retinal images using fully convolutional deep neural network. In: Campilho, A., Karray, F., ter Haar Romeny, B. (eds.) ICIAR 2018. LNCS, vol. 10882, pp. 659–668. Springer, Cham (2018). https://doi.org/10.1007/978-3-319-93000-8 75

Meyer将FCN应用于动静脉分类（只在血管宽度大于3像素点有效）

Meyer, M.I., Galdran, A., Costa, P., Mendon¸ca, A.M., Campilho, A.: Deep Convolutional artery/vein classiﬁcation of retinal vessels. In: Campilho, A., Karray, F., ter Haar Romeny, B. (eds.) ICIAR 2018. LNCS, vol. 10882, pp. 622–630. Springer, Cham (2018). https://doi.org/10.1007/978-3-319-93000-8 71

局限：当动静脉血管在分类前被划分为背景时，分类会受到影响，毛细血管挑战巨大

3.本文的方法

提出了一个有空间激活机制的神经网络

多任务输出模块——提高分类效果，尤其是毛细血管
输入模块对视网膜图像进行处理而且基于过滤器将血管增强
深度监督模块加入早期编码器阶段——帮助底层功能提取更多的语义信息

Method:

彩色眼底图像通过光照增强(IC) 和血管增强(VE)进行预处理
将三个来源（原始图像，IC过后，VE过后）的图像切为patches
将patches输入到深度学习架构中
架构同时生成动脉、静脉和完整血管的三个分割图

Module

多输入
光照增强作为预处理——去除图像上不均匀分布的亮度
样本扩增技术作为辅助输入——多尺度Gabor滤波和线检测器
空间激活的网络架构
采用U-Net架构，提前用ResNet训练作为encoder
为了适应多种输入，在ResNet之前增加了扩展压缩层，先将输入扩展到高维空间，然后将特征图压缩到三个通道，使得输入通道与resnet相符合；
Output block：用于同时进行血管分割和血管分类，提出了两个并行分支，生成最终的动静脉分割结果：
一只用来专注于提取A / V之间的共同特征，并生成血管分割的概率图；
另一只将条件概率进行融合
activation block：针对毛细血管，提出了激活模块

$\sigma$ 为激活因子,设置为1，因为边界和毛细血管像素大约为0.5，粗血管和背景像素的值接近1或者0

为了强调毛细血管采用高斯函数将像素值的权重提高到0.5左右，在激活函数中添加偏重

通过提高毛细血管的偏重为，背景和厚血管的偏重为1，使潜在的毛细血管被激活

深度监督
U-Net在深层和浅层连接时效率不高，这两种特征在语义级别和空间分辨率方面存在差距，学习更多的低级语义信息能够提高其性能，消失梯度的存在也使得损耗反向传播对于靠近输入层的层不太有效。

修改：

在每个ResNet块后的编码器部分增加额外的侧输出层（帮助低层提取更多的语义特征，加快收敛）
损失函数：最终输出的二元交叉熵损失、深度监督块的损失和权重衰减正则化项