DeepPrognosis: Preoperative Prediction of Pancreatic Cancer Survival and Surgical Margin

DeepPrognosis: Preoperative Prediction of Pancreatic Cancer Survival and Surgical Margin via Contrast-Enhanced CT Imaging

论文信息

• Paper: [MICCAI2020] DeepPrognosis: Preoperative Prediction of Pancreatic Cancer Survival and Surgical Margin via Contrast-Enhanced CT Imaging
• Link: https://arxiv.org/pdf/2008.11853.pdf

背景梳理

胰腺导管腺癌(PDAC)是最致命的癌症之一。 对于有资格初步切除PDAC的患者，手术切除仍然是治愈的最佳机会。然而，即使在同一病情阶段接受相同治疗的切除患者中，治疗效果也有很大差异。因此，精确的术前预测对于PDAC患者的个性化治疗有重要作用。一种有效的成像方式是对比增强CT图像(CE-CT)，其中肿瘤在不同CT期的衰减变化可以反映肿瘤内部基质组分和单个肿瘤的血管化，这可能会影响病人的治疗结果。但目前还没有自动化的方法来充分利用PDAC中的对比增强CT图像以辅助诊疗。本文提出了一种用于PDAC患者生存预测的深度神经网络，称为三维对比增强卷积长短期记忆网络(CE-ConvLSTM)，它可以从CE-CT成像中获得肿瘤衰减特征或模式。网络将执行生存预测和肿瘤切除边缘预测两个任务，网络学习到的肿瘤切除边缘相关特征将有助于提高生存预测的准确率。

主要贡献

方法设计

提出了一个多任务学习框架来进行肿瘤边缘状态和病人生存结果的联合预测，肿瘤切除边缘信息将有助于术前的生存预测。

实验结果

与现有的最先进的生存预测方法相比，该框架有较好的预测性能。

方法

对比增强CT图像(CE-CT)数据说明

本研究中使用的术前多期CE-CT胰腺成像，针对位于胰头和钩突的PDAC，从三个时间点进行了扫描，使用时间点1，2，3分别表示CT成像的非对比期、胰腺期和静脉期。Fig 1中每一行代表一位患者，每位患者存活情况不同；每一列代表不同的CT成像期。给出的三个例子说明了PDAC患者不同的肿瘤衰减和切除边缘情况。在之前的研究中发现，肿瘤衰减和切除边缘情况都将密切影响存活情况。因此本文提出的方法将考虑这两方面因素以建立术前PDAC生存预测模型。

CT数据特征将分为三个通道：1)PDAC背景去除的CT图像；2)肿瘤分割的二元图；3)胰腺分割的二元图。从每个阶段的成像扫描裁剪以肿瘤3D质心为中心的64×64×64像素的图像子卷以覆盖整个肿瘤及其周围胰腺区域。最终建立4D的CE-CT数据集 X t = { X t C T , X t M T , X t M P } {X}_{t} = \{{X}_{t}^{CT},{X}_{t}^{MT},{X}_{t}^{MP}\} Xt​={XtCT​,XtMT​,XtMP​},$t=1,2,3$，其中MT,MP代表肿瘤分割图和胰腺分割图。

多任务CE-ConvLSTM模型

该网络有两个分支，用于预测切除边缘类型和生存结果。

预测切除边缘类型的分支使用一个三维CNN模型，该网络有六个卷积层并配以BN和ReLu层。这一支网络的输入是肿瘤分割图，胰腺分割图以及3个时间点下的CT图的组合，因此输入大小为5×64×64×64。该分支将尝试学习CT强度衰减变化以及肿瘤与周围胰腺区域的关系，这有助于将肿瘤分类为不同的切除状态。

预测生存结果的分支中，输入为每个成像阶段的三通道（CT-MT-MP）CT数据，因此输入大小为3×64×64×64，这一分支的目的是捕捉肿瘤不同阶段的衰减模式。首先，采用3D ResNet18作为编码器，将每个三通道输入编码到CE-ConvLSTM的低维特征映射中。接下来是一个循环模块，它允许网络保留它所看到的内容，并在看到新的阶段的图像时更新内存。不同于以往工作中使用的普通LSTM或者ConvLSTM，针对这个循环模块，本文提出了CE-ConvLSTM模块，通过将三维空间结构显式编码到时域，CE-ConvLSTM可以对4D的时空CE-CT序列进行建模。主要公式如下：

其中$X_t$是t时刻的CE-CT序列，∗表示卷积，⭕代表 Hadamard乘积。

最后，两个独立的全连接网络将利用组合起来的公共特征分别进行预测任务。第一部分将会预测切除边缘的状态（R0/R1，从医学的角度解释，这两种状态会对病人的生存情况产生不同的影响），是一个二元分类，采用二元交叉熵损失；第二部分将对生存信息进行预测，采用负对数部分似然损失。

实验结果

数据集

数据集中包含205例患者(均为可切除型PDAC患者，平均肿瘤大小=2.5cm)的胰腺CT数据，数据在非对比度期、胰腺期和门静脉期进行扫描，因此总共615份体积数据。另外，为了增加训练数据，进行了数据增强，对数据进行轴向旋转，步长为90°。

不同CNN骨干下的CE-ConvLSTM有效性验证

本文分别以3DCNN以及进过预训练的3D-ResNet18分别作为CNN骨干并研究CE-ConvLSTM的有效性，结果如Tabel 1所示，其中C-index表征预测准确度，处在0-1之间。

从表中我们看出

1. 加入CE-ConvLSTM模块效果更好，模型能更好地利用多阶段的CT数据。
2. 使用预训练后的3D-ResNet18作为骨干更合适。

方法对比

本文还与其他多任务预测方法（第2，3行），以及使用CE-ResNet3D和CE-3DCNN的单分类任务（第4，5行）进行了比较，结果是本文的多任务方法在预测效果上更好。

Deep signature analysis

此外，对比传统的放射学特征和其他临床病理因素，本文还探究了网络提取的深度特征对于诊断的意义，采用单因素和多因素COX比例危险模型来评估各因素的危险比(HR)，发现网络提取的深度特征作为预兆因子与生存预测存在较高一致性，说明本文提出的模型所提取的深度特征有较强的医疗分析价值。

总结

• 本文提出的多任务CNN框架的思想是让一个副任务提取的特征能帮助到主任务的预测，这种思想为多监督的场景提供了范例。
• 模型利用CE-ConvLSTM编码PDAC的动态肿瘤衰减模式增强了整个框架。
• 实验结果验证了所提出的深度特征可以作为一个帮助预测病情发展的生物标志物

参考文献

[1] Paper: [MICCAI2020] DeepPrognosis: Preoperative Prediction of Pancreatic Cancer Survival and Surgical Margin via Contrast-Enhanced CT Imaging
Link: https://arxiv.org/pdf/2008.11853.pdf