fcn liver segmentation

Automatic segmentation of liver tumors from multiphasecontrast-enhanced CT images based on FCNs

摘要：

    本文提出了一种基于完全卷积网络（FCN）的新型全自动方法从CT图像分割肝脏肿瘤。具体来说，我们设计了一个多通道完全卷积网络（MC-FCN）分割来自多相增强CT图像的肝肿瘤。因为每个对比增强数据的阶段提供了关于病理特征的独特信息，我们训练了一个网络用于CT图像的每个阶段并将它们的高层特征融合在一起。建议方法在来自两个数据库（3Dircadb和JDRD）的CT图像上得到验证。如果是3Dircadb，使用FCN，体积重叠误差（VOE），相对体积差的平均比率（RVD），平均对称表面距离（ASD），均方根对称表面距离（RMSD）和最大对称表面距离（MSSD）分别为15.6±4.3％，5.8±3.5％，2.0±0.9％，2.9±1.5mm，7.1±6.2毫米，分别。对于JDRD，使用MC-FCN，VOE，RVD，ASD，RMSD和的平均比率MSSD分别为8.1±4.5％，1.7±1.0％，1.5±0.7％，2.0±1.2mm，5.2±6.4mm。测试结果证明MC-FCN模型比以前的方法提供更高的准确性和鲁棒性。

介绍：

    肝病的预防和治疗是一个重点目前的临床诊断研究[1,2]。 自动，准确，以及用于肝肿瘤分割和容量的稳健方法是计算机辅助诊断，肿瘤分类的先决条件，重刑，癌症分期和radiomics分析。 医学进展成像技术使得获得高分辨率成为可能数据[3,4]。 信噪比的提高和高对比增强计算机断层扫描的空间分辨率（CECT）特别适用于确定病灶大小和位置 - [5]。 根据文献，CECT是最常见的用于评估可疑的肝转移，肝 - 细胞癌和胆管癌[6-8]。 细分来自CT图像的肝脏肿瘤在许多肝脏疾病中起着重要作用，相关的临床应用。 但是，肝脏的大小各不相同与性别，年龄和体型有关，而恶性组织与正常组织的对比度往往较低。 因此，恶性组织的检测是困难的。

    几种最先进的算法，包括阈值，基于区域的方法，活动轮廓模型，图形切割和机器学习，已被提出来解决这个问题[9]。阈值技术设置其强度值为的所有像素高于阈值到前景值并且所有剩余像素都到背景值。例如，Moltz等人合并了一个基于阈值的方法，基于模型的形态学处理适应肝转移并达到半自动肝肿瘤的分割[10]。基于区域的方法包括区域发展，区域分裂和融合以及流域转型。区域增长是一种简单而快速的算法分割图像并且通常涉及选择种子点然后扩大它。更高级的方法，如迭代相对模糊连通性（IRFC）也已用于肝脏病灶分割[11]。 由于分水岭的简单性，速度和图像的完全分割，流域转换被认为是一种强大的分割方法例如，Yan et al。准确分割3D肝转移的容积基于标记控制的流域变换的CT图像[12]。 Xu和Prince使用梯度矢量流（GVF）主动轮廓技术进行肝脏分割[13]，然后用基于统计模型的方法描绘肝脏肿瘤[14]。 Li等人提出了可能性和局部约束水平集模型用于肝肿瘤检测[15]。这种方法是由Boykov等人开发的经典图形切割的扩展。 [16]并被认为是一种有效的方法来最大限度地减少更大的一类能量函数。 Linguraru等人。 [17]将通用仿射不变形参数化方法整合到用于检测肝脏的测地活动轮廓模型中，通过使用图切割的肝脏肿瘤分割。目前，机器学习在医学成像分割领域发挥着至关重要的作用。还开发了多种机器学习方法用于肝脏肿瘤的自动或半自动分割。 Massoptier等人应用K均值聚类来提取肝脏肿瘤[18]，W.Wong使用基于随机特征子空间集合的极端机器学习肝脏肿瘤检测和分割[19]。大多数基于机器学习的方法比传统方法更有效，但对噪声敏感或效率低下，并且很难精确选择肝脏肿瘤的表现[20]。

    深度学习已经应用于各种各样的问题，并超过了先前的最新性能[21-23]，这促使我们将这种方法应用于CT中的全自动肝脏肿瘤分割。使用得到的结果完全卷积网络（FCNs）端对端训练，而语义分割上的像素到像素超过先前最好的结果，而无需其他机器[24]。这是首次针对像素级预测训练FCNs（1）和（2）从监督式预训练[25]训练FCNs的第一项工作。另外，基于FCN的新分割方法被开发用于医学图像分析，并具有高度竞争的结果。 A. Ben-Cohen等人探索FCN用于CT检查中肝脏分割和肝转移检测的任务[26]。基督等人。提出了一种在CT腹部图像中自动分割肝脏和病灶的方法级联完全卷积神经网络（CFCNs）和密集的三维条件随机场（CRFs）[27]。

    CECT图像分三个阶段采集：动脉（ART）期，门静脉期（PV）期和延迟期（DL）期，如图1所示。对CECT图像特征的研究相对忽略。先前研究的方法[5,28]利用CECT图像信息来利用ART阶段，PV期和DL期的不同特征来执行肝细胞癌和肝脏分割的检测。受这些方法启发，我们提出了一种利用多通道完全卷积网络（MC-FCN）的CECT图像的自动肝脏肿瘤分割方法。 MC-FCN有三个通道，可独立训练CT图像以提取图像特征。然后，该模型可以在网络训练过程的高层实现CECT图像的特征融合。因此，肝脏病灶分割的准确性得到改善。据我们所知，MC-FCN以前没有用于CT图像中肝脏肿瘤的分割。本文的其余部分组织如下：在第二节中，我们详细描述了所提出的方法。第三部分说明了结果，并提供了与现有方法的拟议算法的比较讨论。我们在第一节中总结了这篇论文。

    2.方法
本节的第一部分介绍了单通道FCN。第二部分解释了在多相增强CT图像上训练结构的改进。该分割过程可以分为两部分：训练
基于训练模型的权重优化过程和分割模型;见图2。
2.1。单通道全卷积网络
 FCN可以高效地为每个像素生成空间分数图。FCN的输入可以是任意大小，并且其输出具有相应的大小。在这项工作中，我们通过将完全连接的层转化为卷积层，将AlexNet [21]转换为完全卷积网络。我们试图改进用于肝脏病变分割的AlexNet结构，因为它是一种成功的模型，已被证明在图像分类中取得了良好的效果。FCN的网络结构如图3所示。单通道FCN网络结构包含8个卷积层（C1-C5，FC1-FC3），3个子采样层（S1-S3），3个去卷积层（D1-D3 ）和2个特征融合层（F1-F2）
    .1）卷积层（C1-C5，FC1-FC3）：使用不同卷积核大小的卷积层对前一层的输出执行卷积运算。卷积内核用于提取输入图像的特征并保持空间相关性。
    2）子采样层（S1-S3）：子采样层是非线性下采样层，这增加了鲁棒性并减少了网络参数的数量。子采样图层可以在不降低分辨率的情况下缩小特征图的大小。每层的输入是通过激活函数从前一层的结果中获得的。
    3）激活功能：在这项工作中，我们使用整流线性单位（ReLU）功能作为激活功能。与其他激活函数相比，ReLU可以减小消失梯度效应并加快模型的收敛速度[29]。 以C1和S1为例，尺寸为512 * 512的图像与96个卷积内核卷积，每个卷积内核大小为11 * 11。生成大小为175 * 175 * 96的特征地图。在S1层，通过下采样得到87×87×96的大小（见图4）。
    4）解卷积层（D1-D3）：在多个卷积层的特征提取之后，将特征映射输入到去卷积层以进行双线性插值并且获得具有语义信息的粗糙层。
    5）融合层（F1-F2）：FCN层的操作导致特征地图丢失太多位置信息。为了获得更准确的分割结果，我们将来自粗糙粗糙层的语义信息与来自浅层精细图层的外观信息相结合，以使模型能够进行尊重全局结构的局部预测。这个过程是使用融合层实现的。以FC3，D1，融合层F1为例，其结构如图5所示.FC3的输出尺寸为16×16×2，小于原始图像。然后，我们可以得到尺寸为33×33×2的解卷积层D1并与C4进行融合。 C4（43 * 43 * 384）的尺寸与D1（33 * 33 * 2）的尺寸不同。首先，我们用一个3 * 3卷积核对C4进行卷积以获得43 * 43 * 2特征映射。其次，我们通过裁剪操作将其尺寸缩小至33 * 33 * 2，然后将其与D1层融合。因此，我们得到了第一个融合层，F1。融合结果被解卷积得到的输出D2层。去卷积层D2和次采样层S1经受特征融合以获得最终特征。详细参数如表1所示。