论文 Multi-scale 3D convolution feature-based Broad Learning System for Alzheimer’s Disease diagnosis

Multi-scale 3D convolution feature-based Broad Learning System for Alzheimer’s Disease diagnosis

• 本文提出了一种用于MRI图像准确诊断AD和MCI的广义学习系统(BLS)的新变体模型。该模型由特征映射模块和特征增强模块两个模块组成。特征映射模块在不进行额外特征选择的情况下获得图像的多尺度特征。结果表明，该模型在学习AD诊断任务时，可以将特征映射模块的多尺度卷积特征和特征增强模块的抽象特征端到端集成在一起。同时，所提出的模型是一个轻量级模型，其复杂性得到了显著的简化。

Introduction

• 磁共振成像(MRI)、正电子发射断层扫描(PET)为疾病的诊断提供了有效、准确的证据。由于MRI图像相对容易获取(价格低，检测时间短)，且具有较高的三维结构分辨率，因此在临床应用中MRI图像比其他数据要多。因此，研究者利用MRI数据进行了大量相关研究。
• 根据研究人员使用的分类方法，目前已知的算法可以简单分为两类:传统机器学习方法和深度学习方法。
• 提取特征的几种方法
  • 第一种方法是预先定义大脑MRI图像中的多个兴趣区域(Regions of Interests, ROIs)或坐标点作为更高层次的特征或分类注意点进行诊断。其基本观点是，认知障碍是由于特定区域脑组织的变化造成的。
  • 第二种方法是将整个原始大脑图像作为特征，通过一定的降维方法提取出相对关键的特征，用于下一步的诊断。
  • 除上述方法外，计算机视觉领域提出的深度学习方法在AD诊断中得到了广泛的应用，并趋向于发展集成诊断方法。此外，多任务联合学习对AD的诊断也有研究者提出，但超出了本研究的范围。
  • 对于设计模型的策略而言，上述不同的方法虽然为AD的诊断带来了新的思路，提高了诊断结果，但由于各自的局限性，都面临着不可避免的挑战。
• 本文提出了一种基于BLS的三维卷积变算法，旨在为MRI图像诊断AD提供一种更好的替代模型。本研究设计的模型既能兼顾多层卷积运算获得的高度抽象特征，又能兼顾底层卷积层获得的多尺度特征。因此，本文的贡献可以总结为:
  • 新模块:为了更好地提取MRI图像的整体特征，基于三维卷积设计了一种新的用于广义学习系统(BLS)的特征映射模块(FMM)。算法本身可以同时考虑医学图像的全局相似度和局部差异。
  • 轻量化:与其他类似AD诊断算法和BLS同源算法相比，所提模型更加简洁，模型复杂度更小。该算法是第一个基于MRI图像的BLS算法的同源异构三维模型。

Materials and methods

Data description

• 本研究使用公共数据集阿尔茨海默氏病神经成像倡议1 (ADNI-1)作为训练和测试数据集。它包含阿尔茨海默病患者和正常对照组的基线脑MRI图像。

Data preprocessing

• 考虑对MRI图像进行以下预处理步骤
  • 梯度非线性引起的几何校正为三维梯度翘曲校正。
  • 非均匀性引起的强度校正为B1非均匀性校正。
• 对下载的图像进行进一步的处理，该过程包括:
  • 图像重定向;
  • cropping;
  • skull-stripping;
  • 图像归一化，通过与MNI模板[38]共配准，将图像归一到MNI标准空间。
• 将MRI图像分割为灰质(GM)和白质(WM)组织概率图。
• 在预处理前后目视检查MRI体积的均匀性和伪影的缺失。

Method preliminaries

• 简单介绍BLS
  

Proposed model

• 本文提出的模型基于BLS算法的一般网络结构，即采用一种新的卷积特征映射结构构建BLS模型的特征映射模块，增强特征层采用众多级联的全连接层。
• 在端到端模型设计方面，不同于传统机器学习需要额外的特征提取，本文提出的模型借鉴了深度学习自主学习的优点，通过卷积运算获得高维图像的抽象特征。
• 为了更好地拟合MRI图像的类型，本文采用了三维核卷积层。因此，模型直接在MRI图像上训练，不需要额外的降维(从3D到2D)，被定义为三维卷积广义学习系统(3D- cbls)。
• 该模型不需要对图像进行额外的特征提取或特征预定义，只需要进行一些必要的预处理操作。
• 原始图像经过去除颅骨等必要的预处理后，再通过五折交叉验证直接传输给模型进行训练。此时的图像数据为中的X。图中得到的最终结果Y是模型对患者的最终诊断结论。在这里，模型完成了对MRI图像的端到端训练和预测。
• 整个模型架构有一个数据流，从原始图像(X)横向传输到上层操作，不断提取图像特征。FMM由多个卷积-激活-池化层组成，旨在提取多尺度的底层卷积特征。而右边的增强模块是常规的多层神经网络，数据从前者传输到后者。与BLS算法的基准模型结构一致，特征映射模块和特征增强模块的输出直接参与最终输出权重的构建。
• 借鉴ResNet的结构设计经验，放弃了第一卷积网络层的垂直输出。因此，它不会直接影响最终的输出权重，相关层如图中的“CONV”所示。
  
• 在特征映射模块方面，本文设计的特征映射模块不同于其他BLS变体。所提出的特征映射模块是一个以堆叠卷积网络块为主线的pipeline。上图的虚线表示FMM模块的水平正向数据流，对应上上张图FMM的水平输入输出。同时，实线表示了提供多尺度特性的FMM模块的垂直内部数据流。绿色箭头表示FMM模块的垂直输出，对应上上中模块到输出Y的直连权值。
• FMM的设计思想是在底层的卷积特征上实现尽可能多样化的特征表达。因此，FMM按照以下规则构造。
  • 每个FMM包含多个并行卷积模块，这些卷积模块只在底层卷积层进行数据传输。除了这些卷积模块之间没有数据交换。
  • 卷积特征池化是一种重要的下采样方法。因此，在不同组中，可以实现不同的池化操作模式，如平均池化、最大池化等。
  • 除了以上两方面外，FMM中还应用了相同大小下的扩展元素-添加操作，实现了另一种非线性特征映射。
• 特征增强模块采用多层全连接神经网络。它们之间有单向的数据传输，每一层直接贡献给输出层y。同时，在每一个全连接层后面会有一个Dropout层来抑制过拟合事件的发生。

Experiment and discussion

• 在两个二元自动诊断任务上对所提出的方法和竞争方法进行了评估
  • AD vs NC
  • pMCI vs. sMCI

Methods for comparison

• 在ADNI-1数据集上测试的相关算法进行模型评价

Conventional methods

• ROI- svm和ROI- sae都是基于ROI定义的诊断算法。
• 传统的**基于地标的形态测量(CLM)**是一种具有工程特征表示的分类方法。
• 基于MRI数据、Age数据、CM数据提出MCI诊断算法，结合各种数据的特征，利用支持向量机和LDS完成分类任务。为了简单起见，这个方法简单地命名为MCI-CP。
• LRLAD.

Convolutional neural networks or deep neural networks

• VCNet是一个深度神经网络，它是一个多层卷积-激活结构叠加的深度神经网络，用于实现AD诊断，并提供相应诊断结果的可视化。
• CAE和ICAE是一套基于卷积自编码器的三维卷积分类模型，都致力于实现AD的端到端诊断。这两个模型之间的差异在于ICAE模型在模型结构中借鉴了Inception模型的网络架构。
• CMCN是一个集合了多个卷积模型的集成学习模型，包括多个卷积编码器和多层堆叠的卷积神经网络。
• M-DeepESRNet是另一种集成学习方法构建的模型。

Details of the experiment

Model evaluation

• 为保证评价的公平性，采用多个评价指标对不同模型进行评价。
  • 精度(ACC)是模型测试在测试数据集上输出的总体精度。
  • 灵敏度(SEN)是衡量模型在所有阳性样本中正确识别阳性样本数量的指标。
  • 特异性(SPE)是衡量模型在所有负样本中正确识别负样本数量的指标。

Training strategy

• 我们的实验分为两个任务。
  • 第一个是AD诊断任务，采用常规的初始训练方法。同时，在数据集上采用5倍交叉验证的方法，最终的实验结果由5次实验的平均值得到。
  • 第二个任务是本文第一个任务的一个更详细和更难的子任务。本任务采用了训练中的迁移学习方法，即训练开始时的第二个任务模型将继承第一个任务中学习到的知识。

Details of the model architecture and training settings

• 给出参数设置， kernal初始化方法，损失函数等等。

Performance on ADNI-1 dataset: AD vs CN

• 与传统的学习方法相比，本文模型在所有指标上都有明显的优势，无论是整体的准确性，还是衡量正、负样本准确性的特异性和敏感性；本文模型的结果在敏感性和特异性方面仍有更突出的优势，表明该模型在筛选真阴性和真阳性患者时具有更高的准确性；所提出的模型不需要额外的特征处理操作。
• 与类似的三维卷积模型相比，本文模型除特异性外，在大部分评价指标上仍有优势。但该模型的敏感性低于M-DeepESRNet和CMCN1模型，特异性高于M-DeepESRNet和CMCN1模型。这说明M-DeepESRNet和CMCN1模型在诊断阳性患者时具有优势，本文模型在诊断阴性患者时更可靠。虽然上述模型各有优点，但除了本文提出的模型和VCNet模型外，其他三维卷积模型都需要一定程度的附加运算。

Performance on ADNI-1 dataset by transfer learning: sMCI vs pMCI

• 轻度认知障碍的诊断可视为AD诊断任务的一个子任务，难度较大。一般认为，从AD的诊断中获得的经验可以转移到轻度认知障碍的诊断任务中。
• 总体而言，该模型在各评价指标上的实验结果与AD诊断任务相似:ACC、Specificity和AUC均高于其他模型，而Sensitivity低于MCI-CP模型。
• 在传统方法中，与灵敏度显著较高的M-DeepESRNet模型类似，MCI-CP模型在所有阳性样本中筛选阳性样本的能力强于其他模型。而MCI-CP模型的特异性明显低于其他模型，说明MCI-CP模型在所有阴性样本中正确识别阴性样本的能力较弱或难以识别真正的阴性患者。
• 与其他3D-CNN模型相比，本文模型在迁移学习相同的情况下，在大多数指标上优于CAE和ICAE模型。相对于M-DeepESRNet模型，虽然M-DeepESRNet模型是一个使用多个模型一起学习的模型，但本文提出的模型在所有评价指标上都优于M-DeepESRNet模型。

Discussion

Comparison of complexity between different 3D-CNN models。

• 通过对比可以看出，在同类三维卷积神经网络模型中，所提模型不仅能够实现较高的AD诊断精度，而且模型的复杂度明显低于其他模型。同时，该模型在时间复杂度方面也具有与其他模型相似的优点。

Does the FMM work?

• 为了验证本文提出的FMM的有效性，针对AD诊断任务建立了以下两个模型。

  • 模型1:FMM的正常水平特征传输(图中水平传输的虚线)被保留，但FMM模块对最终输出的贡献被取消。其他参数均与本文提出的模型一致。
  • 模型2:模型2的网络结构与模型1相同，但除了网络结构外，还对其他参数进行了调整，以找到最佳模型。
  • 此外，本文还引入了同源异构模型CCF-BLS[41]作为FMM模块性能比较模型。

• 如果没有FMM，同一模型的性能会显著下降，直至完全失效。如果相同结构的模型正常工作，则需要额外的参数，诊断性能会受到影响。

• 本文提出的模型总体上可以与目前优秀的AD诊断算法保持相同的水平或具有一定的优势，并且模型的尺度也更加简洁。

Feature visualization

• 为了更直观地显示FMM特征的相关特征，采用t-SNE方法对不同模块的特征进行降维处理，从而显示数据分布。

• FMM的顶层特征分布比特征增强模块更密集。同时，属于不同类的特征更加明显，几乎是线性可分的。

• 提取FMM中的一个卷积块，并通过梯度追踪其最终输出，得到其在原图像中的注意图。可以清楚地发现该模块在一定程度上可以注意到图像的整体结构，而忽略了一些结构的影响，如左右半球的链接部分。

• FMM和Feature enhancement模块对于模型整体性能的作用是不同的。FMM侧重于获取图像的底层全局特征，可以有效提高轻量化结构模型的泛化性能，这也证明了FMM的有效性。

Conclusion

• 本文基于MRI图像，建立了一种新的用于AD和MCI诊断的卷积模型。该模型的主要结构来源于广义学习系统。
• 在此基础上，提出了一种新的FMM结构对BLS模型进行改进，并在AD医学图像上进行了实验验证。
  • 新的FMM模块辅助模型完成了不同尺度特征的提取，促进了新模型的建立，使模型的性能较同源模型有所提高。在模型学习和训练方面，该模型不需要额外的特征预处理操作，可以完成近端到端的模型学习。
• 在ADNI-1数据集上测试了当前各种优秀算法的性能，无论是传统算法还是CNN算法。此外，在模型规模和性能方面，与其他同类型模型相比，本文模型最突出的优势在于以最小的时间和空间复杂度获得了最高的模型诊断性能。
• 此外，将迁移学习策略应用于MCI诊断任务，将AD诊断任务中学习到的知识进行迁移。实验结果表明，该模型与其他算法相比仍有较好的性能。
• 在精度和AUC方面，本文提出的模型优于其他常规模型。