论文阅读：3D multi-scale, multi-task, and multi-label deep learning for prediction of lymph node metasta

3D多尺度、多任务、多标签深度学习预测T1肺腺癌CT图像淋巴结转移

Key word：

        淋巴结转移预测肺结节征候三维卷积神经网络

Abstract：

        术前淋巴结(LN)转移的诊断对于T1肺腺癌患者评估可能的治疗方案至关重要。放射科医生术前通过评估淋巴结转移的相关体征来诊断淋巴结转移，如CT图像中肺结节的针状或分叶状。然而，这种类型的评估是主观的和耗时的，可能导致诊断的一致性差和效率低。本研究提出了三维多尺度、多任务、多标签分类网络(3M-CN)来预测淋巴结转移，并评估肺结节的多个相关征像，以提高预测淋巴结转移的准确性。以下主要方法适用于这种方法。首先，提出了一种多尺度特征融合模块，将来自不同层次的特征进行聚合，并在不同层次上对不同标签进行最佳建模;其次，采用辅助分割任务，使模型更多地关注结节区域，减少对周围不相关结构的关注;第三，设计了一个名为refine层的跨模态集成模块，将相关风险因素集成到模型中，进一步提高模型的置信度。3M-CN使用401个案例的数据进行训练，然后在内部和外部数据集(分别包括100个案例和53个案例)上进行验证。然后将提出的3M-CN模型与现有的最先进的LN转移预测方法进行比较。提出的模型优于其他方法，在内部和外部测试数据集上的auc分别为0.945和0.948，达到了最佳性能。提出的模型不仅获得了较强的泛化能力，而且大大增强了深度学习模型的可解释性，增加了医生对模型结果的信心，符合医生的诊断过程，还可推广到其他疾病的诊断。

1.

        手术肺叶切除联合系统淋巴结清扫(LND)是临床T1肺腺癌的首选治疗方法(Liu et al, 2015)。但对于那些实际上没有淋巴结转移的T1肺腺癌患者，不必要的LNDs可能会增加复发和术后并发症的风险。术前若能准确预测淋巴结转移情况，可有效避免无效LNDs。然而，目前T1肺腺癌术前影像学评价LN状态主要依靠放射科医师的判断，费时且不准确。因此,开发一种术前准确诊断淋巴结状态的有效工具具有重要意义，它可以为临床T1期肺腺癌提供更好的治疗(De Leyn et al, 2007)。

        一些研究表明结节的定量放射学图像特征可作为T1肺腺癌LN状态的预测生物标志物(Wang et al, 2019)。然而，放射学方法是繁琐和耗时的，需要精确的肿瘤感兴趣区域(ROI)的描述，特征提取和选择，并最终建模。此外，ROI的描述有些受制于医生的经验，这反过来会影响预测的准确性。这些缺点阻碍了放射组学在临床中的应用。最近发展的基于深度学习的方法可以大大降低特征提取的难度，并优于放射组学，这种方法已广泛应用于医学图像分析(Zhao et al, 2020b)，特别是在T1肺腺癌中涉及淋巴结转移预测的诊断(Zhao et al, 2020a)。与基于放射组学的方法相比，基于深度学习的方法提高了准确性，并且在深度学习框架中集成了临床先验特征的方法将进一步提高LN转移预测的准确性。但该方法需要有经验的临床医生准确标注淋巴结转移相关的肺结节征象，如针状、分叶状、胸膜压痕、衰减和支气管气征。由于这些注释取决于医生的经验，因此模型本身可能不那么自动化和智能。因此，一个全自动的预测LN转移的模型是可取的。研究表明，整合相关任务可以提高模型的性能(Zhang和Yang, 2021)。因此，将淋巴结转移状态预测和相关征象评价结合到一个多标签任务中，可以提高淋巴结转移预测的准确性。

        针对多标签任务，提出了多种利用计算机辅助诊断(CAD)辅助多标签疾病分类的方法。例如，Wang等人(2017)创建了ChestX-ray8数据库，包含了32,717名独特患者的108,948张胸部x光正视图图像，每张图像标记了8种常见疾病。在他们的研究中，他们使用ImageNet预训练卷积神经网络(CNN)预测标签。此外，Rajpurkar等人(2017)提出了ChestX-ray14数据集，该数据集使用改进的121层DenseNet架构对14种胸部相关疾病进行分类。该CAD系统表现出较高的性能水平，超过了放射科医师的平均性能水平。

        虽然目前对肺部疾病多标签分类任务的研究大多基于x线，但计算机断层扫描(CT)更常用于结节检测、体征评估和疾病诊断(Fan et al, 2019)。从以前涉及x射线的研究转移到目前涉及CT扫描的研究的一个挑战是，CT图像是3D的，而x射线图像是2D的。因此，在本研究中，我们使用三维网络来提取三维结节更完整的上下文特征。无论使用x射线还是CT图像，该方法在多标签分类任务中都面临以下常见挑战。(1)不同的标签最好由不同层次的特征来建模。例如，在前面的研究中，只使用最后一个卷积层的高级语义特征来输出多标签分类预测是不合适的，这可能会导致那些依赖低级形态特征建模的标签性能较差。例如，在各种结节征象中，针状、分叶状、胸膜压痕是病变形态的描述，因此需要低水平的形态学特征来模拟这些征象;不能单纯依靠形态学特征判断淋巴结转移情况;相反，高级语义特性更适合于模型，以实现更高的性能。因此，本研究设计了多尺度特征融合(multi-scale feature fusion, MFF)模块，以整合来自不同尺度的特征，以适应同一肺结节中不同层次特征最好建模的不同标签。(2)由于结节靠近胸壁或穿过结节的血管，在CT图像上可能会出现这些额外的结构，从而导致结节的分类错误，导致诊断错误。为了解决这一问题，应该采用辅助任务，使网络更多地关注结节区域，而不是周围的结构。本研究将分割作为辅助任务，以辅助肺结节的多标签分类;分割可以看作是一张注意图，表示分类任务的重点区域。(3)血清癌胚抗原(CEA)水平、最大结节直径、吸烟史等相关危险因素在肺部疾病进展中发挥重要作用，但在以往的智能诊断建模中未充分利用。应该开发一个合适的融合网络，用于每个患者的跨模态信息集成，这可能进一步提高模型在预测LN状态和评估多体征方面的准确性。因此，在网络中加入了Refine Layer (RL)模块，将患者先前的临床风险因素和图像信息整合到一个深度网络中，进一步提高模型的性能。本研究最终提出了一个利用CT图像预测淋巴结转移的3D多尺度、多任务、多标签分类网络(3M-CN)，可用于淋巴结转移的预测，以及同时评估临床环境下肺结节的多种征象(针状、分叶、胸膜压陷、衰减和空气支气管图)。这项工作在四个重要方面与之前的方法不同:

(1)本文提出了一种新的深度学习方法来预测淋巴结转移，同时评估肺结节的多个相关征像，以辅助预测淋巴结转移。

(2)将多尺度、多任务、多标签方法整合到模型中，有效提高模型对LN转移的预测性能。

(3)利用内部和外部数据集对3D 3M-CN进行了验证，并与现有的先进方法进行了比较，以证明其有效性。

(4)多体征评价任务的整合，大大增强了深度学习模型的可解释性，增加了医生对模型结果的信心，符合医生在工作流程中对淋巴结转移诊断的诊断流程。

        本文的其余部分组织如下:

第2节描述了模型架构，包括主干、MFF模块、分割模块、RL模块以及这些组件是如何组装的。

第3节介绍了实验设置和数据集。

第4节介绍了结果、分析、局限性和对未来工作的讨论。在第5节中，给出了结论。

2.

2.1

三维3M-CN的结构如图1所示。该模型有两个头部(分类和分割)，它们共享相同的主干，从3D输入图像中提取特征。分类头由MFF模块组成，MFF模块将多尺度特征融合为一个特征向量，然后是全连接(FC)层，RL模块集成跨模态特征，用于后续LN状态的预测和多种征象的评估，包括针状、分叶、胸膜压痕、衰减、支气管气征等。对于分割头，添加了一个轻量级的分割网络分支，以辅助分类任务。3D 3M-CN的详细架构见附录。

 2.2 backbone

        在本研究中，基于3D DenseNet (Huang et al, 2016)架构构建了3D 3m - cn主干，该架构具有参数少、性能高的优点，也被用于提取CT图像中肺结节的3D上下文特征(Zhao et al, 2018)。3M-CN骨干网由3个密集块组成，如图1所示，每个块又由4个卷积神经网络模块组成。每个卷积模块中有1 × 1 × 1个卷积核，包含64个滤波器，后面是3 × 3 × 3个卷积核，每个卷积核增长16个滤波器。最后，利用全局平均池化层获得120通道图像描述符。

2.3.多尺度特征融合(MFF)模块

在多标签图像分类任务中，可以通过考虑不同层次的特征来对不同的标签进行最好的建模。因此，本文提出了MFF模块，该模块由两个过渡层组成，以适应每个标签对不同特征尺度的依赖。在每个过渡层中，使用带有n个滤波器的1 × 1 × 1卷积核将特征映射的通道数更改为n，然后进行全局平均池化，将每个特征映射φn∈Rw×h×l压缩为特征描述子fn，该特征描述子表征了特征通道上响应的全局分布，如式(1)所定义。