Predicting malignant nodules byfusing deep features with classicalradiomics features

 Introduction

肺癌是全球最常见的癌症之一，占所有癌症诊断的13.3％，在美国每年有超过200,000人被诊断出患有肺癌，近150,000人死于肺癌。在美国，肺癌主要分为两种类型：小细胞肺癌（SCLC）和非小细胞肺癌（NSCLC）。NSCLC比SCLC生长缓慢，蔓延慢，是肺癌中最常见的类型（占所有肺癌的80％至85％）。肺癌通常在疾病进展到晚期之前没有症状。最近，一种早期检测方法被证明可以降低NSCLC的死亡率。国家肺部筛查试验（NLST）证明，通过低剂量计算机断层扫描（LDCT）筛查高危人群，与标准胸部X线相比，肺癌死亡率显著降低了20％。然而，在NLST中，LDCT识别的96.4％中等肺结节（IPNs）是错误的阳性结果。因此，需要一种准确的非侵入性方法作为临床决策工具，以更好地识别肺癌筛查环境中的结节，特别是中等肺结节。

Radiomics是一种从标准医疗图像中提取定量特征的方法。这些特征可以用于统计分析、机器学习或其他高维分析。Radiomics特征有望提供一种准确的非侵入性方法，以更好地跟踪肺癌筛查期间的结节。通俗地说，Radiomics是一种通过分析医疗图像中的特征来诊断疾病的方法。通过将这些特征与机器学习模型结合，可以更好地识别和跟踪肺部结节，从而提高肺癌的早期诊断和治疗效果。

介绍了深度学习在机器学习领域中的兴起和应用。深度学习算法通过在神经网络中使用多个隐藏层实现对数据的多层表示来学习。LeCun等人提出的卷积神经网络（CNN）因其在分类任务中的表现而受到广泛关注。Krizhevsky通过提出“ALEXNET”架构，在2012年的ILSVRC中显著提高了图像的大规模分类表现。Girshick等人表明，当数据稀缺时，使用预训练的网络并在新数据上微调是有益的。Erhan等人评估了如何使用无监督学习来最有效地初始化深度神经网络。Donahue等人研究了从CNN中提取的特征是否可以应用于其他物体识别任务中，并提出了迁移学习的概念，即将先前学习的知识应用于不同的领域。Raina等人提出了一种使用未标记数据进行监督分类的方法。总之，深度学习在图像分类和物体识别等领域取得了显著的成果，并且具有广泛的应用前景。

利用深度学习技术来提高LDCT图像肺结节恶性转化预测分类器准确度和接收者操作特征曲线下面积（AUC）的研究。由于标注数据有限，该研究的重点在于迁移学习方法，利用已经在ImageNet数据集上训练过的卷积神经网络（CNN）提取特征，以分类肺结节。与其他人用于训练CNN的图像和肺结节图像不同的是，第一，肺部图像是灰度图像，而ImageNet包含彩色RGB图像和自然场景图像，第二，肺结节图像的大小要小得多，即每个感兴趣的对象的像素数量较少。在先前的一些研究中，作者对灰度CT图像进行了归一化处理，仅使用红色通道，并证明了从预训练的CNN中提取的深度特征可以有效地使用，并通过将经典的放射学特征与深度特征合并来提高分类准确度。

利用CNN来处理LDCT肺结节筛查图像数据，数据包括可能会恶性转化的肺结节。作者提到了几种利用CNN的方法。其中一种方法是迁移学习，即利用CNN提取的特征与传统的机器学习算法结合，建立分类模型。由于目前最适合这种工作的学习算法还未知，作者进行了多组实验。另一种方法是直接训练具有增强数据的CNN。由于数据有限，CNN必须小型化以便学习和减少过拟合。训练完成后，CNN可以用于预测或从网络中提取特征。作者进行了两种方法的实验来比较它们的效果。

从目前良性的肺结节筛查CT图像构建分类器的四种提高预测能力的方法。首先，研究人员调查了使用在摄像机图像上训练的CNN从深层特征中提取分类结果是否可以产生类似或改进的结果，与使用传统的放射学特征如纹理、形状和大小相比。为了实现这一点，从三个略有不同的训练深度神经网络中提取特征，每个网络都在相同的数据上进行训练。这样做的原因是看看参数如何影响表现。第二，我们假设将传统的放射学特征与深层特征相结合可以改善分类结果。我们没有试图在训练数据上决定正确的特征数。相反，我们使用了一个特征选择方法中最好的5、10、15和20个特征。第三，由于肺结节图像是灰度的，我们研究了将结节图像通过不同颜色通道（红/绿/蓝）的摄像机图像上训练的网络发送后对分类结果的影响。第四，即使数据很小，我们也评估了一个假设，即通过设计新的CNN架构并使用从新CNN中提取的特征，可以将肺结节有效地分成将保持良性或将变为恶性的组。尝试了三种架构，试图逐步减少权重的数量。

在机器学习中，权重和神经网络的大小对模型精度的影响，以及如何评估模型的性能。在机器学习中，权重和神经网络的大小越大，模型的复杂度就越高，可以提供更复杂的分类器。但是在数据较少的情况下，过多的权重会导致过拟合或训练不良的问题，而较小的神经网络可能无法提供足够的精度。因此，在选择模型时需要平衡复杂度和精度的关系。

此外，该段落还提到了如何评估模型的性能。作者使用了未见过的数据对模型进行了准确度和AUC（曲线下面积）的评估。作者没有使用测试数据结果来修改实验，但进行了多次实验，可能会发现其他实验无法发现的结果。这说明了在机器学习中，评估模型的性能非常重要，需要使用科学的方法来评估模型的准确性和可靠性。

Materials and Methods

Study Participants, Data, and Feature Extraction 

在这个研究中，我们使用了来自NLST研究的LDCT图像和数据。简而言之，NLST2是一项随机临床试验，比较了在美国33个医疗中心对53,454名现任或前任吸烟者进行的LDCT和胸部X射线检查。NLST研究进行了基线（T0）筛查和两次随访筛查，分别在基线后约1年（T1）和2年（T2）进行。

阐述了图像数据集中像素大小和切片厚度的变化范围，以及重建视野和管电压的变化情况。平均像素大小为0.6642毫米，标准差为0.072毫米，最小值为0.4844毫米，最大值为0.8594毫米。规范化像素大小可能会引入伪影，因此没有进行规范化。切片厚度在图像集中从最大的3.2毫米到最小的1毫米不等。两个队列中的大多数病例的切片厚度为2.5毫米，其余大部分为2毫米。重建视野的范围在248到460毫米之间。管电压在140到120 kVp之间变化。本研究未针对这些变化进行校正，这可能是本研究的潜在限制。

基于之前的研究工作，从NLST的LDCT-arm中选择了一些被筛查出肺癌和肺结节阳性的参与者子集。为了进行本研究，选择了两个SDLC患者队列，并与同龄、性别和吸烟状况相匹配的肺结节阳性对照进行1:2频率匹配。在基线（T0）筛查时，肺癌病例和肺结节阳性对照均有阳性筛查结果，但未被诊断为肺癌。肺癌病例在第一次（T1）或第二次（T2）随访筛查时被诊断出来，而肺结节阳性对照则有三次连续阳性筛查结果（T0到T2），但未被诊断为肺癌。肺癌病例和肺结节阳性对照被分为训练队列和测试队列。对于两个队列，都使用T0时刻的筛查结果进行训练。队列1包含261个病例，其中85个结节变成了癌症，176个没有变成癌症。队列2包含237个独特的病例，其中85个结节变成了癌症，152个没有变成癌症。本研究使用队列1作为训练集，队列2作为测试集。该文本还提到，选择队列时没有使用结节大小作为标准。更多关于数据集选择的信息可以在参考文献中找到。

介绍的是一项肺癌研究中的实验方法和结果。其中提到了对肺癌病例和结节阳性对照组的人口统计学特征进行了比较，发现在年龄、性别、种族、民族和吸烟方面两组之间没有显著差异。此外，研究中使用了 Definiens 软件套件（位于马萨诸塞州剑桥市）进行结节分割的操作。简单来说，这段话提供了一些关于肺癌研究的基本信息，包括研究对象的人口统计学特征和使用的实验方法。

在之前的工作中，研究人员从结节中提取了219个放射学特征，其中包括大小、形状、灰度共生矩阵、小波和Laws特征。接着，研究人员将这些放射学特征与从结节中提取的深度特征合并起来。这个过程可以帮助提高模型的性能，因为深度特征可以更好地捕捉结节的内在特征，而放射学特征则可以提供更多的结构信息和灰度信息。这种特征融合的方法可以有效提高肺结节分类的准确率。

在我们的研究中，对于每个病例，我们选择了具有最大结节面积的单个切片。然后，我们通过在图像上取一个完全覆盖结节区域的矩形框来提取每个切片中的结节区域。由于我们需要将其调整为CNN的输入大小，因此我们将调整后的结节区域称为“warped”。在图2中，我们展示了一个调整大小后的结节以及实际的LDCT扫描切片。虽然每个结节的大小不同，但是预训练的CNN所需的输入大小为224 × 224，因此我们使用双三次插值对图像进行调整大小。在附录中，我们展示了另外六个肺部图像，结节被勾画出来并调整为224 × 224。这个范围包括非常小的结节、中等大小和大型结节。

Convolutional Neural Networks and Transfer Learning

CNNs是一种多层前馈网络的变体，最近在图像分类和物体识别任务中被广泛使用。CNN的架构可以使用几个卷积层，通常跟随一个最大池化层，然后是全连接层和激活函数层。由于CNN由许多层组成，因此需要学习许多连接权重，对于大型网络，通常需要大量数据来避免欠拟合或过拟合。我们使用的数据集只有276个训练案例，对于CNN而言相对较小。因此，尝试使用在ImagNet数据集上训练的大型网络进行迁移学习的方法。Transfer learning是一种方法，其中先前学习的知识被应用于另一个任务，任务域可能不同。在我们的情况下，领域非常不同。ImageNet由自然相机图像组成，不包括任何类型的肺结节或癌症图像。我们的图像集仅包含CT图像中的肺结节。在本研究中，我们使用名为MATCONVNET的MATLAB工具箱尝试了三种不同的预训练CNN（vgg（visual geometry group）-m / vgg-f / vgg-s）进行实验。vgg之后的f，m和s代表快速，中等和慢，并且指的是训练时间（因此部分权重的数量）。我们从应用激活函数后的最后一个完全连接层的输出中获得深层特征，使用修正线性单元（post-ReLU）对所有值<0进行更改以使其为0。LDCT图像是灰度的（没有彩色分量），我们将LDCT图像的体素强度更改为0-255或8位，但预训练网络是在RGB图像上训练的，因此我们通过平均红色，绿色和蓝色通道图像对图像进行归一化，并尝试分别使用每个通道。关于一个实验中的图像处理和深度学习网络的使用。该实验中使用了一个预训练的卷积神经网络（CNN）来提取图像的特征，以用于后续的任务。由于原始图像是RGB图像，而预训练网络是对彩色图像进行训练的，因此将灰度图像复制三份，以便处理成类似于RGB图像的形式，以便充分利用预训练网络的知识。因为图像的大小比预训练网络的输入大小要小，所以使用了双三次插值的方法进行图像的缩放。最后，提取了每个图像的深度特征向量，其维度为4096，这些特征是在ImageNet预训练CNN的输出层之前的最后一个全连接层（即表2中的完整2层）的输出结果。 

描述了一项实验，其中研究者使用了三种不同的卷积神经网络结构，使用Keras和Tensorflow库进行训练。这些网络结构和参数在表3-5中进行了描述。在每个本地训练的卷积神经网络架构中，输入图像大小为100×100像素。不同大小的结节图像（其面积从16到10,354像素不等）被插值为100×100。尽管使用不同的输入图像大小，但最好的结果是使用100×100大小的图像。使用相同的灰度CT图像作为每个通道的输入，使其在某种程度上类似于CNN中的RGB图像。这样做可以利用预训练网络中的所有权重并从中提取特征。

CNN Architecture 1描述了一个深度卷积神经网络的训练细节。其中，训练的总迭代次数为200次，使用了RMSprop算法作为梯度下降优化器，并设置了学习率为0.0001。在不同的batch size中，选择了16作为训练和验证的批次大小，因为它提供了最好的结果。在前两个卷积层中应用了Leaky ReLU激活函数，这使得负值有时也可以传播，提供了非线性。为了防止过拟合，模型中应用了dropout和L2正则化。

这个模型包含了两个全连接层（fully connected layers），其中第一个全连接层有128个神经元（units），第二个全连接层有8个神经元。在这两个全连接层之后，还有一个最终的分类层（classification layer）。整个模型的参数总数为841,681个。参数数量是用来衡量模型大小和复杂度的一种指标，通常情况下，参数数量越多，模型越复杂，能力也就越强。

描述了一个神经网络的架构，这个网络包含一个具有128个单元的全连接层，接着是一个8个单元的长短期记忆（LSTM）层，最后是一个用于分类的输出层。LSTM是一种递归神经网络层，它包含一个用于短期或长期记忆信息的存储器和各种门控制着信息流入或流出存储器。这个架构通过使用LSTM替换全连接层，探究了使用LSTM进行信息记忆是否有助于最终分类，结果表明，使用LSTM后，分类准确率进一步提高。整个网络的参数总数略微增加至845,033。

描述了一个级联的神经网络架构，其中图像被输入到网络的“左”分支和“右”分支中。左分支包含一个最大池化层，而右分支则由卷积和最大池化层组成。在从左右分支中获取相同大小的输出（10 × 10向量）之后，级联发生了。级联之后，又使用了一个卷积层和最大池化层，而没有使用全连接层或LSTM。

 介绍了一个卷积神经网络（CNN）的第三种架构。在这个架构中，研究人员通过应用最大池化操作直接获取图像信息，并将其与卷积生成的信息合并在一起。卷积层中的特征更加通用（例如，斑点、纹理、边缘等），因此直接添加图像信息将为每种情况创建更具体的信息。在合并后，另一个卷积和最大池化层在最终分类层之前维护图像的通用信息，并能够提供更多关于图像的特征以获得更好的分类结果。文中的图3展示了CNN架构3的流程图。

Experiments and Results

在预训练网络中，每个图像都必须先由平均图像进行归一化处理。由于结节图像是灰度图像，因此只能使用一个通道（红色、绿色或蓝色）进行归一化。我们进行了不同的实验，分别将红色、绿色和蓝色通道分别用于训练，一次只使用一个通道，忽略其他两个通道（即从CNN中删除其他两个通道的权重和连接）；我们还使用灰度图像三次，模拟具有三个颜色通道的图像，并使用相应的颜色通道图像进行归一化处理。

在每个图像中，通过在最后一个全连接层应用ReLU激活函数，提取了维度为4096的深度特征。ReLU是一种常用的激活函数，它可以将负数变成零并保留正数。这个操作可以使特征更加凸显，并减少在特征提取过程中丢失的信息。最后，这些特征被用于进行分类或其他任务。

我们使用了对称不确定性（symmetric uncertainty）特征选择器来选择前（5/10/15/20）个特征。对称不确定性是一种用于特征选择的指标，它可以测量一个特征与目标变量之间的相关性和重要性。简单来说，对称不确定性可以帮助我们找到与目标变量高度相关的特征，这些特征可以用于训练分类器或执行其他任务。在本文中，我们使用对称不确定性来选择前（5/10/15/20）个最相关的特征，以提高分类器的性能。

在分类任务中，我们比较了五种分类器：朴素贝叶斯、支持向量机、决策树、最近邻和随机森林（200棵树和log2(n)+1个特征）。这些分类器都是常见的机器学习算法，每种算法都有其独特的优点和适用范围。朴素贝叶斯算法是一种基于贝叶斯定理的分类算法，它可以通过统计特征之间的条件概率来进行分类。支持向量机算法是一种基于最大间隔的分类算法，它可以有效地处理高维数据和非线性数据。决策树算法是一种基于树状结构的分类算法，它可以将数据分成多个子集，每个子集都具有相同的特征。最近邻算法是一种基于距离的分类算法，它根据测试样本与训练样本之间的距离来进行分类。随机森林算法是一种基于集成学习的分类算法，它可以通过组合多个决策树来提高分类器的性能。在本文中，我们比较了这些分类器的性能，以找到最适合我们数据集的分类器。

描述如何评估一个模型的性能，特别是在区分肺癌病例和对照结节方面的性能。作者使用了 ROC 曲线下面积（AUC）作为性能评估指标。ROC 曲线上不同的阈值代表着不同的真阳性率和假阳性率。每个阈值对应的 ROC 曲线上的一个点表示了一个真阳性/假阳性对。AUC 是一个模型区分肺癌病例和对照结节能力的度量。AUC 值越接近1，表示该模型的预测能力越好。

该研究使用了一个小样本（261个病例）的数据集（Cohort 1）来训练一个卷积神经网络（CNN）。为了扩充数据集，研究者对每个图像进行了旋转和水平垂直翻转，生成了18,792张图像。然后，他们随机选取了70%的数据用于训练，剩下的30%用于验证。CNN 的输入大小为100×100像素，使用了一个sigmoid层进行分类。在CNN架构中，他们使用了架构3提取了从分类层前的最后一层中的1024维特征。使用对称不确定性和分类器方法，从这些特征中选择了5/10/15/20个特征进行进一步的分析。

者介绍了他们在研究中尝试的六种不同方法来预测Cohort 2肺结节在T0拍摄时的恶性程度。这些方法包括：

1.仅使用预训练的CNN中提取的深度特征；

2.合并深度特征和经典放射学特征；

3.构建新的CNN架构，并使用sigmoid层进行分类；

4.从新训练的CNN架构中提取的深度特征；

5.合并来自训练的肺结节CNN的深度特征和经典放射学特征；

6.将来自肺结节、经典放射学特征和预训练于相机图像数据集上的网络（即vgg架构）的深度特征合并。

Cohort 2的数据没有用于训练，而是作为未见过的测试集来验证这些方法的预测能力。

Table6 介绍了作者在研究中使用的第一个方法，即仅使用预训练的CNN中提取的深度特征来预测肺结节的恶性程度。作者使用了vgg-s架构提取深度特征，通过最近邻（11个邻居）分类器得出了最佳准确度为75.1%，AUC值为0.74的结果。在表6中，作者仅展示了分别使用每个颜色通道时获得的最佳结果。

描述了作者在研究中使用了不同特征数量（10/20/30/40）来预测肺结节的恶性程度，并尝试使用不同的特征融合方法。最佳准确度为75.1%的结果是通过使用随机森林分类器合并了从vgg-s预训练网络中提取的深度特征和经典放射学特征中的前15个特征得到的。最佳AUC值为0.793是通过使用随机森林分类器合并了从vgg-m预训练网络中提取的深度特征和经典放射学特征中的前20个特征得到的。在表7中，作者仅展示了从每个颜色通道中合并深度特征和经典放射学特征中获得的最佳结果。

研究者们设计了三种卷积神经网络结构，使用第一组数据进行训练，并在第二组数据上进行测试。在这个实验中，Architecture 3 取得了最高的分类准确率，达到了 76%，同时 AUC 值为 0.87。这意味着 Architecture 3 对于这个医学图像识别任务有较好的性能表现。 

讲述了对于不同的卷积神经网络结构，在进行实验后得到的AUC结果，以及通过z分数计算出的p值。在p值为0.1和0.05的情况下，评估了性能的显著性。结果显示，在p值为0.05时，AUC的改进并没有达到统计学意义上的显著性，因为其数值为0.0656。在第8个表格中，展示了从不同CNN结构中获得的最佳结果。

讲述了使用CNN架构3作为预训练网络，从最后一层（经过池化和64次卷积后的max pool 3 - 4x4）提取了1024个特征，然后在分类层之前进行分类。使用了对称不确定性特征排名算法来提取前5/10/15/20个深度特征。然后，使用随机森林、最近邻、支持向量机、朴素贝叶斯和决策树分类器对提取的新深度特征进行分类。

讲述了将新的深度特征与传统的放射学特征合并，形成大小为10/20/30/40的特征向量，并获得了76.37%的准确率（AUC 0.75）。通过将新的深度特征、传统的放射学特征和从预训练的Vgg-s网络中提取的深度特征进行合并，进一步提高了准确率，达到了76.79%（AUC 0.78）。在第9个表格中，展示了从我们的CNN架构中提取特征以及与其他特征组合时获得的最佳结果。图4显示了特征融合过程的流程图。

 

Discussion and Conclusions

利用迁移学习来获取预训练网络的最后一个全连接层的特征，以肺部低剂量CT图像数据作为输入。由于具有标签的LDCT筛查数据在训练新的深度神经网络时可能是一个较小的数据集，因此对未见过的测试集（队列2）的基线肺结节进行预测，以预测哪些患者会在第二次随访筛查（T2）中患上肺癌。在本文中，我们展示了迁移学习特征以及训练新的CNN将会比我们之前的研究仅使用定量放射学特征获得更高的AUC。定量放射学特征主要基于肿瘤大小、形状、基于直方图的特征和纹理生成。深度特征可能与基于纹理的特征以及形状有关，但更加难以理解。因此，我们还将深度特征与定量放射学特征融合在一起，以评估融合不同类型的特征是否会提供更好的结果。 

注：

深度学习、迁移学习和强化学习都是机器学习领域的重要分支，它们之间有以下区别：

1. 深度学习是一种机器学习技术，通过构建深层神经网络模型来实现对复杂数据的自动化学习和分析。它主要是通过对数据进行前向传播和反向传播来训练模型，从而实现对数据的分类、预测和生成等任务。

2. 迁移学习是指将已经训练好的模型应用于新的任务，通过重用模型的部分或全部参数，来加速新任务的学习过程。它主要是通过利用已有的模型来提取特征，然后将这些特征应用于新的任务中，从而使模型更快地适应新的数据。

3. 强化学习是一种通过不断尝试和错误来学习最优决策策略的机器学习技术。它主要是通过与环境的交互来学习策略，并通过奖励和惩罚来调整策略，以最大化累计奖励。强化学习通常用于处理决策问题，如机器人控制、游戏策略等。

描述了一项研究中使用了三种不同的卷积神经网络（预训练于ImageNet数据集）来提取特征，采用ReLU激活函数后获得最后一个隐藏层的特征。研究讨论了两种不同的方法：仅使用来自扭曲结节的深度特征以及将来自扭曲结节的深度特征与传统的放射学特征合并。在先前的研究中，使用红色通道对输入图像进行归一化处理。在当前研究中，进一步分析了红、绿、蓝三个通道以及同时使用三个通道的情况。通过使用相同的灰度图像三次，生成了多通道模拟RGB图像。单独使用从预训练的vgg-s网络中提取的深度特征，最佳结果为75.10％（AUC为0.74），使用最近邻分类器和三个通道。准确率与手工制作的特征相当，基于从训练于彩色相机图像的网络的特征。通过将深度特征与定量特征合并，使用随机森林分类器可以获得提高的AUC值为0.79。

我们尝试使用我们的第一组样本来微调一个预训练的ImageNet模型，但微调后的模型的准确率和AUC并没有比这里报告的结果更好。

可能的原因是，微调的过程可能没有足够的数据或者数据质量不够高，导致微调后的模型并没有得到更好的效果。另外，预训练模型可能已经具有较高的泛化能力，微调的效果可能并不会显著提高模型的性能。

讲述一个研究中使用卷积神经网络（CNN）对医学影像数据进行分类的过程。研究者使用了自己训练的CNN架构，并且采用数据增强技术，得到了76%的准确率（AUC为0.87），这个AUC值比之前最好的结果（0.81）显著提高。接着，研究者将他们的CNN架构作为预训练网络，从池化层3中提取出1024维的特征向量。仅使用这些新的深度特征，最好的准确率为68.77%（AUC为0.62）。然后，研究者将新的深度特征与传统的影像学特征进行融合，得到了76.37%的准确率（AUC为0.75）。最后，他们还将来自预训练vggs架构的深度特征与新的深度特征和传统特征进行了融合，得到了最佳的准确率，为76.79%（AUC为0.78），这个结果与之前仅使用影像学特征的最佳准确率相当。

讨论了在使用预训练的卷积神经网络从医学图像中提取特征时，如何选择颜色通道。由于结节图像是灰度的，而预训练的CNN输入图像是彩色的（RGB），因此需要选择单色通道（红色、绿色或蓝色），或者使用全部三个颜色通道。作者通过将结节图像分别通过不同的颜色通道（红色/蓝色/绿色）处理，并生成RGB图像（24位图像）来提取深层特征。作者发现，从RGB图像提取的特征优于单独的红色、蓝色和绿色通道提取的特征。因此，颜色通道选择对使用预训练的CNN从医学图像中提取特征的性能有重要影响。将ImageNet训练的CNN特征与放射学特征合并生成新的设计特征向量，用于预测分析。我们的研究表明，在小型医学数据集上使用数据增强方法可以训练出表现良好的深度神经网络。在这些数据中，最好的AUC（0.87）是由在cohort 1数据集上训练的深度神经网络获得的。我们设计的卷积神经网络（CNN）在NLST数据集上进行了训练，并作为预训练模型用于特征提取，因为它是仅在经过数据增强处理的结节图像上进行训练的。将这些新获得的深度特征与经典的放射学特征进行合并，生成更强大的特征向量，从而进一步提高了性能。

在分类问题中，最好选择相关性较小的特征。作者们检查了深度学习特征（迁移学习特征/卷积神经网络提取的特征）与传统特征之间的相关性，并发现它们之间的相关性较低（在0.5和-0.5之间）。因此，将定量特征与深度学习特征融合构建成新的特征列，可以为新构建的特征列提供更多信息，从而增强分类性能。

这篇论文得出了三个结论，这些结论将被用于未来的研究。首先，作者提出了一种简单而有效的CNN架构，使用少量参数适用于较小的（医学）数据集。其次，作者展示了使用迁移学习从CNN预训练模型中提取的所有通道的特征比单个通道提取的特征表现更好。第三，作者还通过融合定量特征和深度特征构建了一个新的特征集，进而提高了分类性能。

这项研究的一个局限性是没有为迁移学习方法使用验证集。因此，我们只是在测试数据上报告所有的结果。可能有一些组合没有被测试到。我们将在未来的工作中评估这个限制。