阅读笔记：Multi-Level Cross Residual Network for Lung Nodule Classification

Abstract

  计算机辅助算法在医学图像疾病诊断中起着重要的作用。肺癌作为一种主要的癌症，通常通过计算机断层扫描发现。为了提高肺癌患者的生存率，早期诊断是必要的。在本文中，我们提出了一种新的结构，多层次交叉残差卷积神经网络(ML-xResNet)，以分类不同类型的肺结节恶性肿瘤。ML-xResNet是由具有不同卷积核大小的三层并行resnet构造的，用于提取输入信号的多尺度特征。而且，residuals不仅与当前level层相连，还与其他level交叉连接。为了说明ML-xResNet的性能，我们将该模型分别用于处理肺结节的三元分类(良性、不确定和恶性肺结节)和二元分类(良性和恶性肺结节)。实验结果表明，所提出的ML-xResNet在三元分类准确率为85.88%，二值分类准确率为92.19%，不需要任何额外的手工预处理算法。

Introuction

  2018年，有170多万人死于肺癌，肺癌在各类疾病死亡中所占比例最高，达到18.4%。与此同时，肺癌成为2018年新发病例最多的一年，达到200多万例。根据美国癌症协会2019年的报告，肺癌在四大主要癌症中死亡率最高(26%)，5年生存率低至18%。生存率低的原因是肺癌的临床症状多出现在晚期。因此，早期诊断至关重要，可将5年生存率提高到90%以上，提高治愈的机会。
  肺结节是一种异常生长在肺上，小于30毫米。如果它大于30毫米，它被称为肺肿块，有更高的机会癌变。肺结节可以是良性和恶性的。良性结节为非癌性结节，一般比癌性结节形状更规则，轮廓更平滑，体积更小，组织密度更大，如图1a所示。良性结节通常无症状，也没有扩散到身体其他部位的风险。恶性结节呈恶性，形态更不规则，密度更高，比良性结节大，表现为结节spiculation，如图1c所示。恶性结节可扩散到其他器官或组织并迅速扩散，造成身体不适，甚至威胁生命。也有一些结节很难在有不同经验的放射科医师中得到一致的诊断，如图1b所示。它们可能与良性和恶性结节具有相似的形态。例如，病人可能有单发或单发的肺结节，也可能有多发结节。因此，医生可以通过对结节各个阶段的准确诊断，为患者提供准确的预后和治疗。

  肺癌的诊断有计算机断层摄影(CT)辅助。医生根据他们的经验给出解释和推论。然而，在一天阅读大量CT图像时，难免会受到主观的影响，甚至出现疲劳。目前，计算机辅助诊断(CAD)系统已成为缓解其工作的重要手段和辅助手段，尤其是深度学习方法。深度学习很流行，在诊断模式的许多方面都有不俗的表现，如医学影像、EEG、ECG等。由于计算机视觉深度学习的广泛和深入发展，医学影像的进步得益于这一趋势。医学图像处理中使用了大量的技术，如卷积神经网络(CNN)、转移学习、注意机制、生成对抗网络(GAN)、无监督学习等用于疾病的分类、检测、分割、重建等。
  肺癌的诊断和分型也在CNNs中取得了一些成果。对于二值分类，Shen等人¹提出了一个多尺度CNN (MCNN)来训练输入图像的三个尺度。将这些图像输入到一个权值共享的网络中，我们可以把这个网络看作一个CNN网络，这个网络就是一个标准的shallow CNN。因此，分类性能受到了限制。然后，为了提高分类性能，他们提出了一种名为multi-crop CNN (MC-CNN)²的新结构。该结构主要基于多切片pooling方法，将特征图的中心分成二到四分之一大小。接下来，它使用不同的最大池次数来生成多切片特征。然而，多次向下采样会导致有用的特征丢失。二值分类达到了87.14%。Nobrega等³基于目前广泛存在的11种肺结节分类方法（如VGG、ResNet、DenseNet和NASNElarge），研究了转移学习在肺结节分类中的表现。然后，利用支持向量机(SVM)、随机森林(RF)等六种分类器对提取的深度特征进行分类。最后，使用SVM-RBF的ResNet50获得了88.41%的最佳准确率和93.19%的AUC。Dey等人⁴提出了基于3D CNN的四种双通道网络，3D CNN包括：基本3D CNN、3D多输出CNN、3D DenseNet和3D多输出DenseNet (MoDenseNet)。所有的网络都是在ImageNet上预先训练好的。双通道网络是通过输入的双视角来训练的。最后，他们通过3D多输出DenseNet获得了90.47%的最佳准确率。但是，他们在训练和测试过程中只应用了686个结核样本。
  2019年，提出了一种用于肺结节分类[20]的深度局部全局网络。在该结构中，残差块和非局部块交替连接，然后是全局平均池层和sigmoid分类器。然而，在整个过程中，他们并没有改变特征的大小，都是与输入相同。然后，突然使用全局平均池化将大小改为$1\times 1$。这样在卷积过程中会有很多冗余的特征，使用全局平均pooling后信息会丢失，不适合提取有用的特征用于分类。El-Regaily等[21]提出了一种多视图CNN来降低肺结节二分类的假阳性率。他们从结节的三维模型中获得了三种视图：轴向、冠状和矢状。然后，将这三个视图输入到三个完整的cnn中，分别训练它们的softmax分类器。最后，他们使用逻辑OR操作融合三个输出来得到最终的分类结果。然而，他们使用的CNNs是三层标准网络。即使他们使用一个逻辑或操作来选择最好的分类器，每个分类器的分类能力是有限的。Hussein等人^[Hussein, S.; Kandel, P.; Bolan, C.W.; Wallace, M.B.; Bagci, U. Lung and pancreatic tumor characterization in the deep learning era: novel supervised and unsupervised learning approaches. IEEE Trans. Med. Imaging 2019, 38, 1777–1787. [CrossRef]提出采用监督和非监督两种方法对肺和胰腺肿瘤进行分类。对于监督模型，他们引入了一种基于转移学习的三维CNN的多任务学习方法，将分类和属性分数估计结合在一起。二值分类的准确率为81.73%。对于无监督学习，他们使用比例支持向量机得到初始标签和标签比例。然后，他们在此基础上对肿瘤进行分类。他们对肺结节的分类达到了78.06%的准确率。然而，他们使用的数据集只有1144个结节。Liu等人⁵提出了一种用于肺结节二值分类和属性分数回归的多任务网络，以提高两个任务的性能。然后，他们应用一个有边际损失的Siamese网络来学习排序最恶性相关的特征，以提高网络的区分能力。准确率为93.5%，灵敏度为93.0%，特异性为89.4%，曲线下面积(AUC)为97.90%。然而，他们只使用了1250张图片。尽管他们使用五倍交叉验证来评估网络的有效性和鲁棒性，但数据集的数量仅为我们的5.7%。小数据集可能会导致缺乏通用性。
  然而，并不是所有结节都有可识别的特征。有经验的专业人员有一些不确定的结节。他们需要结合其他措施来做出明确的诊断。因此，鉴别这些结节对患者的治疗和治愈也至关重要。在这个任务中，我们标记这类结节为不确定的三元分类。Shen等人也考虑了三元分类法，准确率仅为62.46%。在我们之前的工作中，我们提出了多层卷积神经网络(multi- convolutional neural network, ML-CNN)，它由三层二层的CNNs组成，准确率达到84.81%。
  由于肺结节大小不一，形态各异，受Inception的启发，输入的多尺度特征正受到关注。但与最初不同的是，我们在ResNets的基础上设计了一个多并行层结构，并且所有层都有不同规模的卷积内核。此外，为了实现各层间的信息共享，我们还提出将残差交叉层连接起来。总的来说，在本文中，我们提出了多层交叉ResNet (ML-xResNet)来提高胸部CT图像中肺结节恶性肿瘤的分类性能，包括三元分类和二值分类。我们将结节分为良性、不确定和恶性三种类型，然后删除不确定结节得到二值数据集。我们的方法在肺图像数据库联盟和图像数据库资源倡议(LIDC-IDRI)数据库上进行评估。
  ML-xResNet基于以下思想。由于肺结节的大小和形态各异，使用固定大小的filter提取其特征会导致信息丢失或不全。为了解决这一问题，我们设计了一种新的结构——多级交叉残差块。ML-xRes块由三个结构相同但卷积核大小不同的平行残差块组成，用于提取输入结节的多尺度特征。此外，由于各尺度特征之间缺乏融合，为了提高输入多尺度特征提取的效率，我们提出将同一层次的残差进行连接，并将其交叉。通过这种方式，在训练过程中，各个层的信息被共享和合并。然后，我们将ML-xRes块插入到多层结构中。除了这些块之外，其他都是具有最大池化层的典型卷积结构。最后，我们使用concatenate连接技术融合三个级别的输出，并使用softmax分类器对结节进行分类。

2 Methods

2.1 Multi-Level Cross Residual Block

  不同恶性程度的肺结节大小不同，形态各异。对于小尺寸的结节，如果用大的滤波器提取其特征，经过多次的向下采样，特征图中只包含少数像素，而大部分是无关信息，甚至是空白。对小结节造成细节丢失，分类精度低。同时，对于大尺寸结节，如果使用小滤波器提取特征，即使经过多次下采样，接受野也太小，无法捕获结节的整体信息，这也导致分类精度低。因此，对于小结节，我们需要一个接受野较小的滤波器，对于大结节，我们需要一个大的滤波器。然而，输入节点的大小是随机的和不可预测的，并且为每个对象的尺度设计一个特定的滤波器大小是不切实际的。
  我们建议从三个层面来解决这个问题。首先，我们设计了一个多层次的结构来提取结节的多尺度特征。对于输入，使用不同大小的滤波器可以提取出其不同尺度的特征。多层结构由大核和小核并行卷积构造；因此，每一Level提取一个特征尺度。因此，对于大的和小的结节，我们有比单一规模滤波器更适合的感受野。然后，对于卷积，我们采用残差技术。ResNet在计算机视觉和医学成像任务中都具有良好的性能，可以有效地解决梯度消失问题。通过连接前层的残差，也可以帮助弥补小结节的细节丢失，或为大结节获得更完整的信息。然而，这些level中的不同尺度的特征是独立的。为了进一步提高结节的细节或整体信息，我们建议融合多尺度特征。多项研究[26,28,29]证明了不同尺度特征的融合有助于识别物体的多个尺度。因此，我们通过残差连接将所有尺度的特征组合起来。也就是说，为了在不同层次之间共享信息，我们将剩余信息在同一层次上连接起来的同时，在其他层次上也连接起来。这样，在训练的过程中，不同尺度的特征将被充分融合。
  提出的block如图2所示，叫做多级交叉残差(ML-xRes)块。考虑到计算花费，我们只将残差与它下一级相连，当残差是最后一级时连接到第一级，而不是将它与其他所有层相连。因此，ML-xRes块的最终输出被定义为 { o 1 = f 1 ( x 1 ) + x 1 + x L , i = 1 o i = f i ( x i ) + x i + x i − 1 , i ∈ { 2 , 3 , … , L } \left\{\begin{array}{l} o_{1}=f_{1}\left(x_{1}\right)+x_{1}+x_{L}, i=1 \\ o_{i}=f_{i}\left(x_{i}\right)+x_{i}+x_{i-1}, i \in\{2,3, \ldots, L\} \end{array}\right. {o1​=f1​(x1​)+x1​+xL​,i=1oi​=fi​(xi​)+xi​+xi−1​,i∈{2,3,…,L}​
其中，我们假设block中有$L$个并行的level, block的输入是$x_1,x_2,\dots ,x_L$。它们对应的输出分别定义为$f{1}_{(}{x}_1),f_2(x_2),\dots ,f_L(x_L)$。$i$表示第$i$级，$o_i$表示第$i$级的输出。每层的卷积核大小为$k_i$。基于应用，读者可以设计自己的卷积核的每一层的大小和层数。

2.2 Multi-Level Cross Residual Neural Network

  在提出的ML-xRes块的基础上，我们设计了一个多级交叉ResNet (ML-xResNet)来对肺结节恶性肿瘤进行分类。三级xresnet的体系结构如图3所示。ML-xResNet由五层resnet的三个并行层级组成，其中包括两个ML-xRes块。结构的层数和层数是通过实验的试错来确定的，同时我们也分析了原因。在ML-xRes块中的残差仅与相邻的层连接；在第一个区块之后，每一层的输出由三个元素组成，即当前层的输出和输入以及相邻层的输入。这三个特征只来自于这三个层级中的两个。然后，通过第二块，将不同尺度的层次特征完全融合。实验结果表明，两个模块最适合我们的任务。每一层的卷积核大小分别为$3\times 3$、$11\times 11$和$7\times 7$，用于提取输入的多尺度特征。对于分类任务，$3\times 3$是最常见的卷积核大小。然而，在这项任务中，一些肺结节占据了图像的巨大区域。因此，我们需要为这些结节设计更大的过滤器。然而，如果使用大的过滤器尺寸，计算量将会增加。为了平衡网络的性能和效率，我们建议使用上述三个尺度的过滤器，因为我们的图像的大小是$52\times 52$。对于奇数层的卷积层之后，有一个dropout层和一个最大池化层。实验也表明，在我们的任务中，dropout设置为0.8，是最可靠的。偶数层的输出以及同一层和相邻层的残差具有相同的维数，并通过元素加法（elementwise addition）连接。两个ML-xRes块可以在三个层次之间共享信息，提高特征的识别能力。然后我们在三个层次的最后，通过concatenation整合了它们所有的特征。三个层级的第5层的输出被连接在一起，然后，我们使用一个全局平均池化层来汇总信息。最后，利用softmax分类器对结节性恶性肿瘤进行了识别。

  由于我们有更小的数据量，我们使用一个比传统ResNet更小的网络来提取特征，这对于我们的分类任务来说是有效的。分类器根据语义和细节特征识别不同的类对象。小过滤器通常能获得更多的输入细节信息，但缺乏语义表示能力。对于大型过滤器，情况正好相反。我们所提出的ML-xResNet通过多尺度特征提取和融合技术解决了这一问题。在融合所有尺度的特征后，节点的细节信息和语义信息可以相互弥补特征，从而提高分类性能。此外，在设计滤波器尺寸时，为了减轻过拟合问题，我们不使用过大的滤波器。我们知道，过拟合问题会降低分类精度。同时，与标准卷积相比，ResNet的残差技术也可以提高分类性能。总的来说，提出的ML-xResNet可以提高肺结节恶性肿瘤的分型性能。

3 Materials

给出了实验环境的实验设置、超参数的设置和评价标准。

3.1 Data

数据集为公开数据集：Lung Image Database Consortium and Image Database Resource Initiative (LIDC-IDRI)。该数据集中图像的平面内像素大小一致，为512×512。

3.2 Data Setup

  最后一共865 CT scans，5376 benign，11000 indeterminate，22499 malignant。
  训练集和测试集比例为85:15。为了解决结节数之间的不平衡，我们保留所有不确定的结节，将训练集的良性结节数量增加一倍，并随机将恶性结节数量减少一半。对于良性结节，我们对训练数据进行旋转，然后添加原始的训练良性结节。最终得到9139个良性结节进行训练。因此，在三进制分类中，每类的最终结节数分别为10,752、11,000和11,249。对于二分类，我们只删除不确定的结节，对良恶性结节进行分类。所有的结节裁剪基于注释和调整大小一致为$52\times 52$像素。

3.3 Experimental Setup

  训练设定：300 epochs 、batch size 200、 initial learning rate 0.001，momentum 0.9，weight decay $5\times 10^{-4}$、 loss 交叉熵、 dropout 0.8。六折交叉法验证。

Results

4.1 Ternary Classification

  为了选择合适的层次数，进行了实验。

  然后，将包含两个ML-xRes块的ML-xResNet与包含不同数量ML-xRes块的网络进行比较。

  然后是dropout层数量的实验。

  使用六倍交叉验证来评估所提出的ML-xResNet的稳定性和效率。然后，展示了每个类的分类结果，并展示了提取的每一层特征。然后，与最先进的方法比较来评估所提出的ML-xResNet的性能。

4.2 Binary Classification

---

1. Shen, W.; Zhou, M.; Yang, F.; Yang, C.; Tian, J. Multi-scale convolutional neural networks for lung nodule classification. In Proceedings of the International Conference on Information Processing in Medical Imaging, Isle of Skye, UK, 28 June–3 July 2015; Springer: Cham, Switzerland, 2015; pp. 588–599 ↩︎

2. Shen, W.; Zhou, M.; Yang, F.; Yu, D.; Dong, D.; Yang, C.; Zang, Y.; Tian, J. Multi-crop convolutional neural networks for lung nodule malignancy suspiciousness classification. Pattern Recognit. 2017, 61, 663–673.
   [CrossRef] ↩︎

3. da Nóbrega, R.V.M.; Peixoto, S.A.; da Silva, S.P.P.; Rebouças Filho, P.P. Lung nodule classification via deep transfer learning in CT lung images. In Proceedings of the IEEE 31st International Symposium on Computer-Based Medical Systems (CBMS), Karlstad, Sweden, 18–21 June 2018; pp. 244–249. ↩︎

4. Dey, R.; Lu, Z.; Hong, Y. Diagnostic classification of lung nodules using 3D neural networks. In Proceedings of the IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), Washington, DC, USA, 4–7 April 2018; pp. 774–778. ↩︎

5. Liu, L.; Dou, Q.; Chen, H.; Qin, J.; Heng, P.A. Multi-Task Deep Model with Margin Ranking Loss for Lung Nodule Analysis. IEEE Trans. Med. Imaging 2019, 39, 718–728. ↩︎