CPFNet: Context Pyramid Fusion Network for Medical Image Segmentation--用于医学图像分割的上下文金字塔融合网络
Medical Image Segmentation–用于医学图像分割的上下文金字塔融合网络)
一 摘要
基于u形结构的卷积神经网络(CNN)方法在许多不同的医学图像分割任务中都取得了显著的效果。在这种结构中,由于类别不平衡、边界模糊等问题,单阶段上下文信息提取能力不足。
本文提出了一种新的上下文金字塔融合网络(contextpyramidfusionnetwork,简称cpfnet),通过结合两个金字塔模块来融合全局/多尺度上下文信息。
-
在u型结构的基础上,我们首先在编码器和解码器之间设计多个全局金字塔引导(GPG)模块,目的是通过重构跳跃连接为解码器提供不同层次的全局上下文信息。
-
进一步设计了尺度感知金字塔融合(SAPF)模块,实现了多尺度上下文信息的动态高层次融合。
这两个金字塔模块可以逐步挖掘和融合丰富的上下文信息。实验结果表明,提出的方法在四个不同的挑战性任务,包括皮肤损伤的分割,视网膜线性损伤的分割,胸部器官的多分类分割和视网膜水肿损伤的多分类分割上具有很强的竞争力。
二、研究背景
在CNN框架中,较深的阶段能够捕获全局上下文信息,较浅的阶段捕获特征的局部信息。在此基础上,U-net网络通过编码器解码器之间的跳跃连接,显著提高了性能。但是原始的U-Net网络对于上下文信息的提取能力依然不足。
-
首先,一方面,编码器较深阶段捕获的全局上下文信息逐渐传输到较浅层次,由于单个阶段的特征提取能力较弱,可能会逐渐稀释。另一方面,每个阶段的简单跳过连接忽略全局信息,是任意组合局部信息会引入不相关的杂波,导致像素的误分类。最近,有人提出了一些方法来试图解决这些问题
-
第二,在每个单独的阶段,都没有有效地提取和利用多尺度上下文信息。当处理具有复杂结构的目标时,这些信息是必要的,这样也可以考虑结构的环境,从而避免模糊决策。
本论文在U型网路中引入了两种新的金字塔模型来解决上述问题。
-
基于对第一个问题的讨论,我们设计了一个全局金字塔引导(GPG)模块,该模块结合多阶段全局上下文信息,重构跳跃连接,为解码器提供全局信息引导流。具体来说,每个阶段的跳过连接包括来自该阶段的局部上下文信息和来自更高层次阶段的全局上下文信息。同时,通过引入GPG,可以抑制低阶特征带来的无关背景噪声。
-
在讨论第二个问题和尺度感知机制的基础上,我们进一步提出了一个尺度感知金字塔融合(SAPF)模块,该算法由三个具有共享权值的并行膨胀卷积滤波器和两个采用空间注意机制的级联尺度感知模块(SAMs)组成。在主干的顶部嵌入SAPF模块,通过自学习动态地为不同尺度的目标选择合适的接受域,更好地融合多尺度上下文信息。
提出的CPFNet应用于具有挑战性的医学图像分割任务:皮肤镜图像中的皮肤病变分割和ICGA图像中的视网膜线性病变分割。
主要工作贡献:
-
提出两种新的金字塔模块,,即GPG模块和SAPF模块,分