用于低对比度医学图像分割的高分辨率编解码器网络

High-Resolution Encoder–Decoder Networks for Low-Contrast Medical Image Segmentation

摘要

图像自动分割是医学图像分析的重要环节，在计算机辅助放射治疗、疾病诊断、疗效评价等方面具有重要的应用价值。该任务的主要挑战之一是医学图像的模糊性质（例如，CT、MR和显微镜图像），这通常会导致低对比度和消失的边界。随着卷积神经网络的最新进展，图像分割已经取得了巨大的进步，主要是基于跳过连接链接的编码器-解码器深度架构。然而，在许多应用中（模糊图像中的相邻目标），这些模型往往无法准确定位复杂的边界，并正确分割微小的孤立部分。在本文中，我们的目标是提供一种方法，模糊的医学图像分割，并认为跳过连接是不够的，以帮助准确地定位模糊的边界。因此，我们提出了一种新的高分辨率多尺度编码器-解码器网络（HMEDN），其中多尺度密集连接的编码器-解码器结构，精细地利用全面的语义信息。除了跳过连接之外，还集成了额外的深度监督高分辨率路径（由密集连接的扩张卷积组成），以收集高分辨率语义信息，用于准确的边界定位。这些路径与困难引导的交叉熵损失函数和轮廓回归任务配对，以提高边界检测的质量。在骨盆CT图像数据集、多模态脑肿瘤数据集和细胞分割数据集上的大量实验分别表明了该方法对2D/3D语义分割和2D实例分割的有效性。我们的实验结果还表明，除了增加网络的复杂性，提高语义特征映射的分辨率可以在很大程度上影响整体模型的性能。对于不同的任务，在这两个因素之间找到平衡点，可以进一步提高相应网络的性能。

图注：骨盆CT图像中模糊和消失的边界。第一行:强度图像;第二行:对应的分割真值。

图注：我们提出的高分辨率多尺度编码器-解码器网络(HMEDN)的结构示意图。输入是一组强度图像补丁，输出
是分割和轮廓概率图。矩形和三角形表示网络中的操作。三种途径，即跳过连接(途径①)、提炼途径(途径②)和
高分辨率途径(途径②)，将各种操作连接起来，形成网络

引言

医学图像分析开发了解决与医学图像及其用于临床护理有关的问题的方法。在这些方法和应用中，自动图像分割在治疗计划[1]、疾病诊断[2]- [4]和病理学学习[5]策略中起着重要作用。例如，在脑癌的图像引导疾病诊断中，准确分割的脑肿瘤子成分的掩模使医生能够估计胶质瘤（不同级别）的体积，然后进行进展监测，放射治疗计划，结果评估和随访研究[5]。
医学图像分割面临的主要挑战主要表现在三个方面。为了便于理解，选择骨盆CT图像作为示例进行说明，类似的情况也存在于许多其他分割任务中，包括脑肿瘤和细胞分割。(1)复杂的边界相互作用：盆腔CT图像分割的主要目标器官是三个相邻的软组织，即，前列腺膀胱直肠由于这些器官彼此相邻，并且它们的形状和尺度可以通过器官内部的不同量的尿液或肠气体而容易且显著地改变，因此这些器官的边界相互作用可能是复杂的。(2)外观变化大：在有或没有肠气体、造影剂、基准标记物和金属植入物的情况下，主要盆腔器官的外观可能会发生显著变化。(3)组织对比度低：CT图像，尤其是盆腔区域的CT图像，边界模糊且消失（见图1）。这最后一个挑战提出了最严重的问题，图像分割由于算法的局限性，与自然图像或MR图像相比，CT图像明显缺乏丰富和稳定的纹理信息（特别是软组织）。由于图像的低对比度和噪声采集导致的弱边缘甚至消失，使得器官的实际边界容易被大量伪影污染甚至部分掩盖。因此，整体器官可能意外地分裂成具有各种尺寸和形状的孤立部分（即，由图1中的第一个样本所示），而独立的器官可以在视觉上合并为一个整体（即，如图1中的第二个示例所示）。剩下的关于边界正确位置的线索可能是微不足道和脆弱的（见图1）。
近年来，已经取得了相当大的改进，以提高低对比度医学图像分割的性能[2]，[3]，[6]使用基于深度学习的算法。与许多医学图像分析应用中传统的基于浅层学习的算法相比，这种压倒性的性能提升归功于端到端学习机制[3]，[7]-[9]。几乎所有最先进的方法中的一个共同特征是具有跳过连接的编码器-解码器架构。在这种结构中，下采样操作与卷积一起被用来提取鲁棒的高级语义信息，而跳过连接被用来传递低级纹理和位置信息。虽然这种结构的有效性已经在许多应用中得到了说明，在本文中，我们认为，在图像的模糊或消失的边界，标准的编码器-解码器模型失败，由于两个主要原因：（1）跳过连接可能无法保持正确的位置信息的模糊边界。与高对比度图像不同，医学图像中各种伪影导致的边界模糊或缺失，使得具有很少上下文信息的浅层难以甚至不可能描绘器官边界，从而留下许多附近的假边界（参见图1中的Sample 1）。(2)在编码器-解码器路径中，由于所包括的下采样操作，重要的位置信息逐渐丢失以换取不变性。因此，路径的空间判别能力变得不可靠，而空间判别能力对于在假路径中找到正确的边界至关重要。为了解决这个问题，[8]、[10]、[11]提出了提取位置准确、上下文信息丰富的高分辨率语义信息。虽然取得了较好的改进，但与编解码器网络相比，这些模型的高存储成本仍然限制了这些算法的性能。
在本文中，我们提出了一种新的高分辨率密集编码器-解码器网络的低对比度医学图像分割。我们的网络的设计主要是基于利用深度监督的高分辨率语义信息，以弥补现有的编码器-解码器网络的边界检测不准确的不足的想法。为此，我们用三种途径构建网络：1）跳过途径; 2）高分辨率途径; 3）提取途径。在这些路径中，跳跃路径由简单的跳跃连接组成，高分辨率路径由一系列密集连接的扩张卷积层组成，而蒸馏路径以编码器-解码器的方式与密集块组成（参见图2以获得更详细的信息）。在网络中，高分辨率路径和提取路径提取的两种语义信息进行了精细融合，以确保位置和语义之间的平衡。通过在网络中仔细放置高分辨率路径，我们可以在合理的内存消耗下实现更好的性能。此外，为了更好地捕捉多尺度结构信息和分割可能孤立的器官部分与各种形状和大小，我们提出了一个集成的多尺度信息保存机制。这是沿着完成的轮廓回归的任务，重点是准确定位的边界。最后，由于并非所有体素在分割方面都具有相同的难度[12]，我们引入了一个难度引导的交叉熵损失来帮助网络更多地关注边界模糊的区域。
贡献：
本文的主要贡献有三个方面：
1。通过仔细分析和实验验证，我们发现目前流行的编码-解码神经网络在低对比度图像分割中存在一个内在问题，即它们缺乏一种机制来准确定位模糊或消失的边界。
2.为了解决这个问题，一种新的高分辨率多尺度编码器-解码器网络（HMEDN）的三种不同的路径和一个困难的意识损失函数。具体而言，在所设计的网络中，所提出的高分辨率路径是编码器-解码器网络的通用插件模块，以提高低对比度图像分割任务的性能。
3.在CT、MR和显微图像数据集上进行了大量的实验，在2D和3D模型的语义和实例分割任务上验证了我们提出的网络和高分辨率路径的有效性。通过实验，我们发现语义信息的分辨率是一个至关重要的因素，通常被忽视的分割网络的性能。

相关工作

在用于医学图像分割的深度学习方法的文献中，通常采用两种策略来解决低组织对比度的问题[13]：（1）在分割框架之前引入形状作为整体正则化，以消除不合理的预测;（2）提高学习特征的辨别和推理能力，以允许网络推断模糊区域处的内容。通过检查周围的强度分布和轮廓变化趋势。
为了实现第一种策略，将基于轮廓的方法与深度学习技术相结合。具体来说，[14]利用卷积神经网络（CNN）生成的分割结果作为初始化，然后分别用水平集和多图谱算法微调相应的轮廓。在[15]中，CNN被用来估计一个可靠的向量场，该向量场从一个体素指向边界上最近的体素，以发展Sobolev活动轮廓。在[16]中，Mo等人通过将轮廓描绘问题建模为寻找极限环，提出了一种新的活动轮廓方法。在他们的方法中，利用深度学习来估计动态系统的向量场。为了充分利用网络训练的形状信息，Tang等人。[17]将CNN与水平集算法集成在一起，并迭代地训练整个管道。这种设置允许通过水平集算法优化的输出来指导CNN的训练，从而在正则化CNN的训练之前允许鲁棒的形状。为了确保预测结果在解剖学上有意义，Oktay等人。[18]通过添加自动编码器来修改卷积神经网络，以强制网络的预测接近原始图像空间和低维流形中的地面实况标签映射。使用深度学习方法进行形状整合的最新进展在使分割更加鲁棒和合理方面显示出有希望的结果。然而，改进这些方法还需要增强学习特征的区分能力。这就需要更多针对医学图像的深度学习分割方法，这正是我们本文的目标。
为了提高分割算法的代表能力，先驱探索者利用了使用基于补丁的CNN以端到端方式学习的区分特征，优于具有工程特征的浅层机器学习算法。例如，Roth等人[4]组合和级联了多个深度网络，以鼓励提取的语义信息的多样性，从而获得更好的分割结果。Fakhry等人。[19]通过研究内核大小和网络深度对分割性能的影响，专门为电子显微镜（EM）图像定制了一个深度卷积网络。然而，分割是一个密集的预测任务，这意味着图像中的每个体素都将被赋予一个估计的标签。因此，基于块的CNN的一次一个体素的预测方式不仅耗时，而且隔离了高度相关的相邻体素，从而对网络的性能产生不利影响。为了克服上述问题，Long等人[20]提出了一项突破性的工作，由全卷积神经网络（FCN）表示，其中全连接层被多个上采样层取代，以使网络输出的大小与输入相同。通过这样做，网络的效率和性能都得到了很大的提高。在FCN之后，已经提出了许多用于医学图像分析的衍生物。在这些工作中，Ronneberger等人[21]设计了一个名为U-Net的跳跃连接链接对称编码器-解码器FCN。为了进一步提高U-Net中信息传递的平滑性，Drozdzal等人[22]将剩余连接[23]引入网络。在[24]中，Chen等人结合了FCN多个级别的侧输出，以整合不同粒度的语义信息，以进行更精细的分割。Nie等人[2]分别集成了在T1，T2和分数各向异性（FA）上训练的三个子FCN，以获取和融合来自不同模态的互补信息，用于婴儿大脑图像的准确分割。
除了使用多种模态和添加网络连接外，一些研究人员还通过集成多个相关任务来提高分割性能。例如，为了提高胰腺囊肿的分割精度，Zhou等人[25]引入了胰腺的分割，这是一种简单但与囊肿分割高度相关的方法，作为深度监督方式的辅助任务，以提高囊肿分割的性能。在[26]中，Nogues等人分别设计了两个用于内部分割和轮廓描绘的网络。然后，通过边界神经元场的结构优化，将两个网络的结果精细地结合起来。为了进一步加强两个任务之间的联系以获得更好的结果，Chen等人[3]提出了一种网络，以多任务学习的方式将轮廓描绘与前景分割融合在一起。为了在端到端训练框架中充分利用学习的轮廓和分割结果，以更好地融合互补信息，Xu等人。[27]进一步将学习的轮廓和分割特征图与卷积运算合并。此外，卷积网络与图模型的结合，即，条件随机场（CRF）[28]和马尔可夫随机场（MRF）也是对上下文信息建模的好方法[29]。
由于医学图像通常是3D的，许多研究人员从附近高度相关的切片中借用补充信息来估计模糊区域的内容。然而，更好的想法是将现有的网络扩展到3D版本，并使它们能够在3D空间中自动查看和学习。沿着这个方向，3D U-Net [30]和V-Net [31]是两个先驱。在此之后，许多研究人员进一步引入了更精细的连接，如剩余连接[23]，[32]，密集连接[33]，[34]和深度监督[35]，以进一步提高网络的性能。另一方面，一些人发现3D CNN可能太耗费内存和计算密集型，因此Zhou等人[25]将三个2D卷积网络的结果沿沿着三个正交方向（轴向，矢状和冠状方向）组合起来作为有效的替代。在[36]中，为了利用切片内和切片间上下文，作者以端到端的训练方式将卷积长短期记忆（CLSTM）[37]引入到分割流水线中。
尽管上述文献在很大程度上提高了深度学习算法在模糊医学图像上的分割性能，但编码器-解码器加上跳过连接结构（大多数现有作品都有）限制了这些网络准确定位目标器官的边界。在下面的部分中，我们将详细介绍我们对这个问题的解决方案，提出一种新的深度学习框架，称为高分辨率多尺度编码器-解码器网络（HMEDN）。

方法

概述
在这一部分，我们将介绍我们的高分辨率多尺度编解码器网络(HMEDN)，用于低对比度医学图像的分割。具体地说，采用了四种战略，每种战略都在单独的小节中讨论。首先，我们介绍了提取网络，在该网络中，语义信息被仔细地提取和保存。然后，我们详细阐述了高分辨率路径，它是通过密集连接的膨胀卷积运算来构建的，用于高分辨率语义信息的开发。接下来，我们将轮廓回归的任务与器官分割的任务结合起来，以实现精确的边界定位。最后，通过设计难度导引的交叉熵损失函数，迫使网络更多地关注模糊边界区域。图2说明了我们建议的网络。
A. Distilling Network-----A.蒸馏网络
我们分割低对比度医学图像的第一个策略是提供一个更全面的多尺度信息收集和融合机制。通常，文献中多尺度信息保存通常采用两种结构，即，U-Net [21]和整体嵌套边缘检测（HED）[38]。在U-Net中，多尺度信息通过将上采样的大接收场层与通过具有较小接收场的跳过连接的那些层（即，一次合并不超过两个刻度）。相比之下，HED方法通过将多个尺度的特征图同时融合到最终输出中，更直接地获取多尺度信息。通过这样做，这些网络省略了解码过程中复杂的卷积运算，并将多尺度信息以其原始形式汇集在一起。为了保留多尺度信息，U-Net逐渐对信息进行更精细的整合和处理，从而使信息的融合充分，并允许中间结果指导后续的融合。而在HED方法的情况下，由于所有信息都是同时处理的，因此可以更全面地进行多尺度信息的融合。
为了利用这两种类型的网络，我们继承了U-Net结构以及HED网络的侧输出来构建我们的网络。此外，为了进一步鼓励不同层之间的顺畅信息流，并使网络的训练更易于管理，我们用最初在[33]中引入的密集连接取代了原始的普通连接。
基于上述认识，我们提出了一种密集连接的多尺度编码器-解码器网络，以全面揭示多层次的结构信息。该网络用蒸馏网络表示，由于使用了下采样层，可以有效地扩大感受野，有效地过滤掉冗余的无关分量。如图2所示，提取网络（黑色路径和橙子跳跃连接）的轮廓是一个具有四个下采样层和四个上采样层的U型网络。然而，除了常规的跳过连接之外，来自具有不同大小的感受野的中间层的三个额外的侧通道也被上采样并与网络的主通道合并，以鼓励更全面的多尺度信息融合。此外，通过将所有前面的层链接到最终层，我们构建了密集块（即，图2中的那些实心绿色矩形），并将它们用作构建块，以促进网络内的平稳信息流。
B. High-Resolution Pathway—B。高分辨率路径
我们的第二个（也是主要的）策略是赋予网络更好的能力来提取有区别的高分辨率语义信息。在分割任务中，什么和哪里之间的直观张力早已在[20]中实现。在当前文献中，该问题的解决方案是通过跳过连接将编码器-解码器网络中的粗层与细层联合收割机，并允许网络做出关于全局结构的局部决策。该策略在具有清晰和一致边界的高对比度图像中效果良好。然而，当它被应用到低对比度的图像，由低层提取的局部外观特征可能无法抑制周围的假设边界和识别消失的边界，导致这些算法的准确性的负面影响。因此，为了在模糊图像中实现准确的边界定位，需要一种能够提供有区别的高分辨率上下文信息的机制。为了满足这一特殊需求，引入了基于扩张卷积的路径。给定具有L个通道的2D图像X，具有大小为3的核w的扩张卷积的定义被定义为：

其中d是膨胀因子，O是输出特征图，并且（i，j）是图像X中的位置索引。由于这种卷积可以通过调整扩张因子d来任意扩大感受野，因此它可以用于取代下采样-上采样结构以提取上下文信息[8]，[10]。这种语义信息提取过程可以为相应的网络提供两个优点：（1）由于在信息处理过程中没有丢失分辨率，因此精细地保留了对于正确理解图像很重要的小而薄的对象。(2)由于不包括下采样操作，因此可以更好地保存所生成的特征图的位置信息。
这些路径中的构建块是残余扩张卷积块[8]。如图2所示（即，橙子正方形），它由两个卷积块和一个快捷连接构成。这个块的好处是双重的：（1）它提高了训练速度，并鼓励平滑的信息流[23];（2）结合膨胀卷积，跳过连接隐式地利用和融合来自不同尺度的信息。此外，为了进一步改善经典扩张残差网络[39]中较弱的长期信息流，我们结合了联合收割机密集连接，让来自高分辨率路径早期的信息直接传递到模块的最后一层。这种设置还导致整个网络的更细粒度的多尺度信息收集。之后，为了降低训练难度，也为了使路径对真实器官（或组织）边界具有区分性，引入了深度监督机制。在我们的实验中，九个残留的扩张卷积块组成了路径。前三个区块的膨胀率为1，后三个区块为3，最后三个区块为5。
C. Contour Information Integration-----C.等高线信息集成
在最近的研究中，神经科学家研究发现，在哺乳动物视觉系统中，轮廓描绘与对象分割密切相关[40]。为了结合这些见解来提高分割精度，研究人员将轮廓检测任务与分割任务相结合。这种设计的优点有三方面。(1)它为分割任务提供了额外的强大指导。(2)它提高了相应网络的泛化能力。(3)引入轮廓回归的任务可以帮助引导网络更多地集中在器官区域的边界上，从而帮助克服低组织对比度的不利影响。在本文中，如图2所示，回归任务被添加到网络的末端作为辅助指导。在现有的研究[3]、[27]中，由于图像对比度高，边界通常清晰稳定。因此，作者在这些研究中[3]，[27]将轮廓检测建模为二进制分类问题。然而，在我们的应用程序中，由于图像的模糊性，边界附近的体素通常是高度相似的。因此，将边界描绘任务建模为回归问题将更合理，回归问题估计每个体素在器官边界上的概率。
为了提取用于训练的轮廓，我们首先通过对分割地面实况执行Canny检测器[41]来描绘不同器官的边界。然后，在这个边界映射上，我们进一步施加带宽为δ的高斯滤波器。在实验中，我们根据经验设定δ = 2。对于其他数据集，可以遵循地标热图生成中的设置[42]，[43]（即，将δ从2设置到3以获得良好的性能）。对于每个体素v，我们生成yr v v ∈ Yr yr v作为概率图的近似，其描述了每个体素在器官边界上的确定性。因此，回归目标是最小化如下定义的欧几里得损失函数：

其中，Rlr是回归特征图Or的轮廓回归损失，其中N个体素和或作为这N个体素之一，p（或）作为或在边界上的概率。θ表示网络参数。
D. Difficulty-Guided Cross-Entropy Loss—D.难度引导的交叉熵损失
为了平衡来自不同类别的体素的频率，分类交叉熵损失是多类别分割的常见选择[2]，[3]。与原始交叉熵损失不同，分类版本为第k个类别中的体素添加损失权重νk。该权重与属于第k类别的体素的部分逆相关：


其中，k表示分割特征图Os的分类交叉熵损失，其中os作为其中的体素。K是类别的数量，yk Os ∈ 0，1表示体素os是否属于第k个类别，并且p（os，yk Os; θ）表示体素os属于第k个类别的概率。该概率由最终卷积层的特征映射上的soft-max定义。
在最近的工作中，Li等人。[12]认为并非所有体素都是相等的，应该更多地关注困难的体素。受这个论点的启发，我们提出了一个困难导向的权重图来引导网络，并将更多的注意力集中在模糊区域。很明显，现有网络的误差主要存在于前景和背景的边界上。在软组织的接触边界处，它变得更大。根据这些观察，我们分三步构建权重图。(1)我们使用Canny算子来计算类别的二进制边界图像Rankk（即，器官）k，根据分割地面实况。(2)我们使用一个带宽为δ2的高斯滤波器对每个边界图像进行扫描，得到平滑后的边界图像S_k。(3)最后，将所有S加权求和，然后归一化以构建最终的权重图。因此，所提出的体素v上的难度引导权重将被定义为：

其中，μ0是所有体素的基本权重，μk是类别k的重要性平衡权重，类似于等式（1）中使用的权重。（三）、在实验中，我们分别设置μ0 = 1和μ1 = μ2 = μ3 = 25作为前列腺、膀胱和直肠的背景体积与前景体积的比值。同样的策略也适用于其他数据集。对于高斯滤波器的带宽δ2，将其设置为8，以在所有实验中实现对模糊边界区域的良好覆盖。在我们设计的地图中，我们将远离边界的前景区域与背景区域同等对待。此外，由于不同地图强调的区域可能会在触摸边界周围重叠，因此这些区域会自动赋予最大的浓度。替换Eq.(3)通过我们提出的难度引导权重图，我们提出了用于分割的损失函数BLS，这是与BLS相比的改进版本，如下所示：
结合分割和轮廓回归的损失，我们最终的网络优化损失函数是：
其中，α和β是用于平衡项之间的重要性的超参数，而Γ（θ）是正则化项（网络参数的l2范数）。在我们的实验中，我们通过设置α = 1和回归在一个相当的量级上获得了较好的结果。对于β，我们遵循[44]的建议，并将其设置为1×10−7的小值。调整参数β可使性能提高0.5%。