作者信息:
摘要:
在胸部CT上准确识别恶性肺结节是肺癌早期发现的关键,这也为患者提供了最好的治愈机会。深度学习方法最近已成功地引入计算机视觉问题,尽管由于缺乏大型训练数据集,在恶性结节的检测方面仍然存在重大挑战。在本文中,我们提出了一种基于多视角知识的协作(MV-KBC)深度模型,利用有限的胸部CT数据来分离恶性结节和良性结节。我们的模型通过将一个三维结节分解为9个固定的视图来学习三维肺结节的特征。对于每个视图,我们构建了一个基于知识的协作(KBC)子模型,其中设计了三种类型的图像补丁来微调三个预先训练过的ResNet-50网络,这些网络分别表征了结节的整体外观、体素和形状的异质性。我们联合使用9个KBC子模型对肺结节进行分类,并采用自适应加权方案,使MV-KBC模型能够端到端地进行训练。惩罚损失函数用于更好地降低假阴性率,且对MV-KBC模型的整体性能影响最小。我们在基准的LIDC-IDRI数据集上测试了我们的方法,并将其与五种最先进的分类方法进行了比较。结果表明,MV-KBC模型对肺结节分类的准确率为91.60%,AUC为95.70%。这些结果明显优于目前最先进的方法。
关键词:
Lung nodule classification, deep learning,collaborative learning, computed tomography (CT)
介绍:
![](https://i-blog.csdnimg.cn/blog_migrate/a14961da359cc3cf5a8460a70834f4c2.jpeg)
所提出的MV-KBC模型的贡献 :
1)据我们所知,这项工作是首次将领域知识纳入良恶性肺结节分类的深度学习模型之一
2)在决策层面融合多视图(即横向、矢状、冠状和六个对角面)/多外观(即OA、HS、HVV)子模型,可以对整个模型进行端到端训练,避免了加权系数的麻烦设置,提高了分类精度。
3)结果表明,我们的模型提供了一个实质性的性能改进,而快速的在线测试表明,我们的模型可以用于常规的临床工作流程。
本研究的初步版本在MICCAI2017[40]中提出。本文对原论文进行了实质性的修改和扩展。主要扩展包括将每个三维肺结节分解为9个固定视图平面,利用每个视图平面上提取的补丁训练一个KBC子模型,27个ResNet-50网络的分层集成,用惩罚损失函数替换交叉熵损失。
数据集:LIDC-IDRI数据库,良性结节1301个,不确定结节612个,恶性结节644个。
方法:
![](https://i-blog.csdnimg.cn/blog_migrate/53def739e4df8854b4a0f0d3a8f4215b.jpeg)
A.多视图切片提取
B.OA、HVV和HS补丁提取
我们将U-Net应用于LIDC-IDRI数据集,并进行了10倍交叉验证。前9倍的每一个有195个结节,第10倍有190个结节。每次,使用一倍结节进行检测,其他结节用于训练U-Net。因此,该测试集从未用于U-Net训练。所有的训练图像及其分割图,定义为放射科医生标记的区域的交叉点,以端到端的方式训练网络,以使交叉熵损失最小化。采用批大小为32的小批量随机梯度下降算法作为优化器。最大迭代次数设置为100,学习率设置为0.001。此外,如果其他90%的训练补丁的误差继续减少验证集上的误差,但验证集上的误差停止减少,我们随机选择10%的训练补丁形成验证集,甚至在达到最大历元号之前终止训练过程。在测试阶段,使用训练后的U-Net逐个进行结节分割。
根据结节分割,将每个切片上包裹结节的正方形ROI确定为OA贴片,以代表肺结节的整体外观。在不同切片上获得的OA贴片大小不同。为了表征结节的HVV,将OA贴片内的非结节体素设置为0,如果OA贴片大于16×16,则提取所有OA贴片的平均大小,包含最大结节体素的16×16贴片作为HVV贴片。要生成结节的HS面片,OA面片内的结节体素设置为0。
由于数据增强通过向数据集[37]添加变量来减轻深度学习模型的过拟合,我们使用随机图像平移、旋转和水平或垂直翻转[30]为每个训练补丁生成了4个增强数据。平移步骤来自[6,6]体素,旋转角度随机来自{90°、180°、270°}。然后,将所有OA、HVV和HS补丁的大小调整到224×224。
C.KBC子模型
在9个平面视图中提取的OA、HVV或HS补丁,连同增强数据,用于训练KBC子模型,该模型包含三个预先训练的ResNet-50网络[45](见图。 4).用于本研究的ResNet-50网络包含50个可学习层,因此包括一个7×7卷积层,产生64个特征图,一个3×3最大池化层,4个瓶颈架构,一个平均池化层和一个包含1000个神经元的FC层。每个瓶颈体系结构由三个卷积层组成,映射大小分别为1×1、3×3和1×1(见表二)。第1到第4个瓶颈层的特征图通道增加,而特征图尺寸(即输出尺寸)随着瓶颈层的加深而逐渐减小。
为了将在大规模图像数据库上学习到的图像表示能力转移到表征肺结节上,通过ImageNet数据集[45,46]的训练,初始化每个ResNet-50网络的参数已经收敛。为了使ResNet-50网络适应我们的良恶性结节分类问题,我们去掉了其最后一个全连接层,然后添加了3个全连接层,分别包含2048、1024和2个神经元。使用Xaiver算法随机初始化这三个完全连接层的权重,最后一层的激活函数设置为sigmoid函数。然后,以分层方式对修改后的ResNet-50网络进行微调,从只调整最后一层开始,最后调整所有层。
。。。
D.MV-KBC模型
所提出的MV-KBC模型由9个KBC子模型组成(见图。2(c))。每个KBC子模型的双神经元输出层连接到同一个单神经元分类层,然后是s型函数。该分类层的输出是由MV-KBC模型所做的预测,可以表示为
。。。
E.评估
我们将MV-KBC模型独立应用于LIDC-IDRI数据集5次,并进行了10倍交叉验证。通过获得的准确性、灵敏度/查全率、特异性、精度的平均值和标准差,临界值为0.5、f分数度量和受试者操作员曲线下面积(AUC)[49]来评估性能。准确性显示了我们的模型在将结节分为恶性或良性方面的表现。敏感性和特异性分别衡量正确识别的恶性和良性结节的比例。精度是在检索到的阳性实例中检索到的真阳性实例的比例。f分数是对测试准确性的衡量,考虑精度和召回率。AUC对班级间的不平衡很敏感。
我们使用整个LIDC-IDRI数据集(即1301个良性和644个恶性结节),并评估了我们的MV-KBC模型,这些方法简称为方法A、B、C、D、E和F已在介绍部分描述。对于方法C、D、E和F,我们重复了这些代码,并使用10倍交叉验证在我们的数据集上独立测试了它们5次。对于其他比较方法,我们没有代码,因此采用了已发表论文中报告的性能。
结果
A.良性恶性分类法的比较
表三显示了所提出的MV-KBC模型和其他六种肺结节分类方法的准确性、灵敏度/查全率、特异性、准确性、精确度、f评分和AUC的平均值和标准差。对于方法A和方法B,我们采用了已发表论文中报道的性能。虽然这些肺结节来自同一个LIDC-IDRI数据集,但用于训练模型的图像却有所不同,方法B使用了比方法更大的训练集 A. 我们的MVKBC模型使用了LIDC-IDRI数据集(即1301个良性结节和644个恶性结节),与方法a和方法a相比取得了最佳的性能 B.
![](https://i-blog.csdnimg.cn/blog_migrate/6e61401a68a07e43eefcc2e42eb9f64d.jpeg)