Nature子刊：阿尔茨海默病特征描述与评估的集成深度学习

阿尔茨海默病是一种以老年人认知能力持续衰退为特征的最常见痴呆类型。神经影像数据（例如磁共振成像（MRI）和正电子发射断层扫描（PET））使得能够识别阿尔茨海默病在大脑中引起的结构和功能变化。在医学环境中，诊断阿尔茨海默病至关重要，因为它支持早期干预和治疗规划，并有助于扩展我们对阿尔茨海默病在大脑中动态变化的理解。近年来，集成深度学习因其在提高阿尔茨海默病诊断性能和可靠性方面的优势而广受欢迎。这些模型结合了多个深度神经网络，以提高预测的稳健性。在本文中，我们回顾了集成深度学习的关键发展，将其设计（即集成类型、异质性和数据模态）与使用神经影像和遗传数据进行阿尔茨海默病诊断的应用联系起来。我们深入讨论了趋势和挑战，以评估我们在这一领域的知识现状。本文发表在Nature Mental Health杂志。

正文

      阿尔茨海默病（AD）是一种持续性的神经系统疾病，其特征是认知能力下降，目前尚无治愈方法。通常在60岁左右开始影响人群。2020-2021年，AD在全球致死原因中排名第七。预计到2030年，全球因AD导致的疾病负担将达到2万亿美元，因此，推动其早期检测的进展至关重要。老年人口中晚年抑郁和学习障碍是显著症状，这不仅影响老年人群，还影响整个社会，并可能导致身体健康受损、认知能力下降、痴呆风险增加和死亡率上升，从而严重影响AD患者。轻度认知障碍（MCI）是从认知健康的老年人到AD患者的过渡阶段。它描述的是大脑功能有轻微障碍但仍能进行日常活动的人群。患有AD痴呆症的患者中有很大一部分至少有一种神经精神症状，包括社会行为失控、冷漠、攻击和激动、焦虑和情绪症状以及精神崩溃。这些症状还与生活质量下降、日常活动受限、较早需要机构护理、护理费用增加、死亡风险上升以及护理者压力增加有关。因此，建议将神经精神症状视为AD的基本临床特征。

      AD的确切原因尚未完全理解。然而，研究已经确定了几种可能促成其发生的因素。AD的主要原因之一是大脑中淀粉样蛋白β（amyloid-β）斑块的积累，随后导致结构和功能变化。淀粉样蛋白β斑块诱导神经纤维缠结的形成，这些缠结由tau蛋白构成，并表现为扭曲的蛋白纤维。缠结干扰神经细胞的内部结构，削弱其通信能力，并对整体健康产生不利影响。淀粉样蛋白β斑块和神经纤维缠结的积累破坏了神经元之间复杂的连接网络，随着时间的推移，这种电信号的中断会影响学习、记忆和认知能力等重要过程。AD的早期检测是一个巨大的挑战，因为其进展通常较慢，早期症状可能比较隐蔽。

      在临床环境中，AD的早期检测至关重要，因为它可以及时进行干预和管理，减少医疗费用，并可能减缓其进展，改善患者的生活质量。为了识别认知障碍和评估患AD的可能性，有一系列的测试和评估方法，包括神经心理测试、大脑成像和基因测试。医疗专业人员（如医生和放射科医师）利用脑成像扫描检测有发展AD风险个体的早期迹象，并识别AD在大脑中引起的结构和功能变化。在各种脑成像扫描中，正电子发射断层扫描（PET）和磁共振成像（MRI）是最常用的方式，因为它们具有较高的准确性并能提供关于大脑结构和功能的全面信息。PET扫描在评估大脑的功能方面具有优势，如葡萄糖代谢，并能提供大脑中淀粉样蛋白β斑块的存在和分布数据。而结构MRI（sMRI）扫描则能提供大脑解剖结构的详细视图，可用于评估与AD相关的任何结构变化。放射科医师可以利用MRI扫描测量某些大脑区域（如海马和大脑皮层）的尺寸减小，这些区域通常在AD中受到影响。这些结构变化有助于验证诊断并跟踪疾病的发展。遗憾的是，医生和放射科医师对脑扫描的分析耗时且给医疗系统带来巨大的财政负担。为了克服这些问题，许多研究建议使用人工智能（AI）工具，特别是机器学习（ML）模型，来处理基于数据的AD诊断。几种ML模型（如随机森林、支持向量机（SVM）和朴素贝叶斯）已被用于AD早期阶段的检测和诊断。然而，这些模型存在一些局限性，如需要开发好的预测器/特征来进行建模任务或适当调整模型参数。深度学习（DL）架构可以从原始数据中提取高度抽象和具有代表性的特征，从而具有更好的泛化能力。许多研究人员尝试使用基于切片和基于体素的DL模型来诊断AD。然而，DL架构通常需要大量高质量的训练数据来实现良好的泛化能力，尤其是在处理像AD分期这样的复杂问题时。由于医疗领域的数据获取和质量注释的困难，数据的有限性常被认为是使用这些高度参数化模型进行AD分类的主要障碍。

      在数据有限的情况下，通常考虑使用集成学习，因为它通过结合多个模型的预测具有多种好处。在尝试成功捕捉数据中的复杂模式同时避免过于详细和噪声的特征时，单一模型通常无法找到完美的平衡。这可能导致应用于未见过的数据时泛化不佳。构建有效的集成学习模型时，ML研究人员主要关注缓解单一模型的上述挑战。集成方法结合多个单独模型（称为“基础模型”或“基础学习器”）的预测，每个模型在数据的不同子集或视角上进行训练。通过这种方式，他们利用了这些模型的集体智慧，有效地减少了过拟合的风险。

      集成学习在多个领域被广泛应用，包括癌症分类、序列分析、蛋白质组数据分析和RNA结构预测。集成学习与深度神经网络（DNN）的交叉被称为集成深度学习（EDL）。集成学习方法有助于解决DL的几个关键挑战，如模型选择问题（即某个分类问题的最佳模型是什么）、大量数据或缺乏适当数据（通常在医疗影像数据中的AD中遇到）、过于复杂的决策边界、来自多种不同来源的数据的可用性，这些数据可能提供互补信息、类别不平衡问题和噪声数据问题。Dietterich已确定了使用集成学习的三个主要原因：统计、计算和表征。此外，EDL模型结合了DL和集成学习的优势，产生了具有改进泛化性能的模型。

      研究人员越来越对EDL框架感兴趣，因为它们能够结合多种模型和多种特征表示方法。传统的ML方法和DL方法在AD检测中的应用已被广泛研究；然而，探索用于AD检测的EDL架构/框架仍然相对未被深入研究。在本文中，我们探讨了EDL的基础和最新进展，将迄今为止该领域报告的贡献分类。最终目标是建立一个参考指南，鼓励在迅速发展的EDL用于AD领域中的研究努力。为此，我们提供了使用EDL进行AD检测的充分理由，随后检查了现有的EDL在该领域的应用。最后，我们深入探讨了该领域遇到的主要障碍，并提出了潜在的研究方向（强调解释性、因果关系和不确定性估计），以激励研究人员继续进行研究和开发工作，以改善临床实践中的AD诊断。

EDL（集成深度学习）的基本原理

      机器学习社区对集成学习给予了大量关注，它通过结合多个机器学习基础模型的输出来提高泛化性能。经典的集成学习建立在结合传统机器学习模型的基础上。尽管报道了其成功案例，经典集成学习的主要限制在于所使用的传统机器学习模型的性质，因为其性能依赖于手工制作的特征，这些特征通常难以构建且表达能力不足。深度学习旨在使用层次化结构从数据中学习高级抽象。研究表明，深度神经网络（DNN）在多种任务中优于浅层架构，并且它们在识别高维数据中的复杂结构方面非常有效，因此成功地应用于各种领域的复杂任务。

     深度学习的成功引发了集成深度学习（EDL）研究的新纪元。开发集成深度模型的常用方法是在经典的集成学习框架中使用DNN（深度神经网络），即用DL模型取代传统的机器学习模型。EDL解决的一些基本挑战包括样本量小、类别分布不均、高复杂性以及来自多个领域的噪声和异质数据。深度模型具有高方差，因为它们非常灵活，并且在训练时可能会遇到局部损失最小值问题。研究人员已经表明，结合多个DL模型的结果比单一DL模型产生更好的泛化性能。尽管增加了复杂性，EDL方法在实践中具有以下几个优点：

• 提高稳健性：多个DL模型的组合可以捕捉更广泛的模式并减少模型特定的错误，从而提高预测的可靠性和稳健性。

• 不确定性的简便测量：通过测量基础模型之间的分歧程度，集成方法可以估计其预测的不确定性，这在基于这些模型输出进行决策的高风险应用（如AD诊断）中至关重要。

• 有效管理类别不平衡：通过聚合多个模型，可以确保在严重不平衡的数据集中少数类别得到充分代表，从而提高泛化性能并降低类别偏差。诸如袋装法等技术也可以帮助平衡集成中的类别分布。

• 轻松整合新信息：为了整合新知识，可以通过重新训练或添加新模型来更新集成。这种灵活性使得集成在数据受外部因素影响而变化的动态环境中非常有用。

• 减少方差：集成方法通过组合多个模型的预测来减少方差，从而提供可靠的结果，这在DL模型表现出高方差且产生不稳定或不一致预测的情况下尤为重要。

• 复杂数据模式：集成方法在捕捉数据中的复杂和非线性关系方面非常有效。

      此外，可以通过多种方式实现DL模型的多样性，例如使用不同的网络架构和层配置、不同的权重初始化方案、不同的激活函数、正则化技术（如dropout、权重正则化和批量归一化）、超参数设置（学习率、求解器和小批量大小）以及随机化。提高DNN的稳健性和泛化性能在很大程度上依赖于实现网络中的多样性。这可以通过多种技术来完成。通常，这些方法的组合用于最大化多样性并成功解决复杂和动态的数据模式。

      总体而言，关键的集成策略可以分为同质和异质集成方法。为了开发集成模型，一组学习器被战略性地生成和聚合。由相同家族的基础学习器（在不同数据子集上训练）组成的集成模型称为同质集成模型（图1a）。相比之下，由不同家族的基础学习器（在相同数据上训练）组成的集成模型称为异质集成模型（图1b）。通过引导样本或采样特征空间等技术，可以在同质模型的基础学习器之间引入多样性，以便每个基础学习器可以在不同的训练集上进行训练。另一方面，异质集成模型由于基础学习器属于不同家族，因此具有内在的多样性。同质方法可能会受到相同算法偏差和约束的影响，这可能限制捕捉数据集中广泛模式的能力。因此，当不清楚哪种模型最适合特定场景时，异质集成通常非常有帮助。相比之下，异质集成在实现和微调方面比同质集成面临更大的挑战，而同质集成提供了更快的开发和部署。选择同质和异质集成应考虑特定问题和数据集以及可用资源、基础学习器和场景的其他约束。参考文献中，分类器在垂直投票中的中间特征表示上进行训练。水平投票网络在选择性稳定的时期范围内进行训练，并组合所选时期的顶层特征表示的预测。时间集成使用不同的输入特征增强、正则化和训练时期生成集成，而用于图像分类和疾病预测的集成则训练多个网络。在集成中训练多个DL架构需要优化数百万或数十亿个参数，导致高计算复杂性，在实践中可能不可行。

图1：集成深度学习策略

      图1 a,b，示意图展示了构建深度学习集成的不同方法。a，在同质集成中，集成必须结合一个多样化机制，以使同质学习者对输入数据集进行不同的建模。b，相比之下，异质集成不需要这种多样化机制，因为基础模型和/或基础分类器彼此不同。

      要提高深度集成模型的可行性，使用传统模型与DL架构结合的异质集成享有更低复杂度的好处。异质深度网络融合使用不同的数据、模型和决策融合视角来生成集成。为了减少计算成本，还开发了隐式集成模型，其中一个模型被训练成达到类似多个模型的性能。在这里，训练网络时随机停用神经元和层。DropOut随机停用神经元，DropConnect随机断开连接，Stochastic Depth随机丢弃残差块以生成隐式集成预测。SwapOut概括了DropOut和Stochastic Depth。其他隐式集成方法包括知识蒸馏和Gradual（正则化）DropIn。通常，这些策略在计算上比训练多个DL模型显著更经济。

      堆叠的思想是通过训练一个元模型来学习多个模型并结合它们的输出。与直接聚合多个基础模型输出以实现最终预测的同质方法（例如bagging和boosting）不同，堆叠是一种特殊的集成学习策略，通过训练元模型（一级模型）来结合多个基础学习者（二级模型）。此外，堆叠对相同的数据应用多个基础算法，以生成对输入数据有独特视角的模型。元模型可以包含任何ML方法，目的是获得关于最有效的组合底层模型输出的知识。因此，堆叠集成可以是同质的或异质的，取决于一级和二级模型是否来自相同或不同的家族。

EDL在AD中的应用

      本文讨论并展示了各种研究文章实施的基于AD的EDL方法的分类和见解，见表1。分类基于每个模型的数据访问方法，即基于切片或基于体素的方法。基于切片的方法处理的是将输入数据方法设为二维（2D）切片，而不是整个三维（3D）MRI扫描。基于体素的方法包括在模型中直接采用整个3D神经影像，或从3D扫描中提取特征。在描述3D体素方法与2D切片方法相关的数据格式时，值得注意的是，前者主要访问神经影像信息技术倡议（NIfTI）格式以及医学数字成像和通信（DICOM）格式的神经扫描，而后者依赖于从NIfTI扫描中提取切片，这些切片通常以标准图片格式呈现。继续特征提取的轨迹，在3D数据特征学习领域，DL模型使用3D卷积架构，结合专门的层以达到此目的。相反，在2D切片数据中，深度学习者依赖于以2D卷积层为基础的模型。这些模型可能包括预训练模型，如AlexNet、ResNet等。图2展示了基于切片和基于体素方法的特征学习过程。

表1 本研究中基于EDL的AD检测方法分类

图2：从3D MRI扫描中进行特征学习的方法

     文献中主要有两种方法。一方面，基于体素的特征学习指的是将3D MRI数据离散化为微小的体积（体素），这些体素是随后学习3D特征图的单位信息。另一方面，基于切片的特征学习通过从3D MRI数据中提取2D切片进行，然后从这些提取的切片中学习2D特征。

切片法和体素法的比较

       切片法主要关注单个图像切片的分析，可能更细致地评估大脑区域内的变化。这在局部异常具有临床重要性的情景中特别有用。相比之下，体素法以更精细的空间分辨率考虑信息，捕捉每个体素内的细微差别。这种方法能够全面检查整个大脑体积，可能揭示出切片分析中不易察觉的全局模式和关系。选择切片法或体素法的EDL方法取决于几个关键因素：首先，取决于神经影像数据的可用性和性质。如果数据集主要包括体积扫描，体素法可能更适合。其次，计算资源也起着重要作用。体素法分析由于数据量大，需要更高的计算努力，而切片法一般在计算上更高效。最后，选择应与研究目标一致。切片分析提供对特定大脑区域的详细见解，而体素法提供整个大脑体积的全面视图。考虑这些因素，我们旨在根据研究的独特特征和目标做出明智的选择，最终推进对AD的理解。使用3D MRI扫描的切片DL方法的主要缺点是它们无法识别MRI体积中体素之间的依赖性。当3D MRI扫描转换为2D图像切片时，特别是关于大脑区域大小和形状的特征会丢失，从而可能导致细节减少，甚至对图像产生混淆。相比之下，3D DL方法（基于体素的方法）的复杂性使其难以训练，因为它们需要大量参数，导致过拟合的风险。在为3D MRI扫描数据或基于切片的DL模型构建EDL模型时，这个问题依然存在；然而，EDL模型的增强稳健性可能在一定程度上抵消上述问题。

基于切片的同质EDL方法用于AD检测

单模态

      在AD检测的广阔领域中，创新方法不断涌现，每一种方法都揭示了精细分类的新维度。通过采用多样的数据模态和战略性集成方法，朝着有效诊断工具的方向迈进。如Tanveer等人所示，在异质框架中整合基于VGG-16的模型为高效AD检测铺平了道路。他们的模型强调迁移学习，在不牺牲性能指标的情况下改善了计算约束。在追求改进诊断工具的过程中，Maji等人研究了单模态方法，揭示了利用MRI数据进行增强分类的途径。他们的方法遍历不同的MRI平面，利用特定平面的特征集成进行精确分类。同时，Pan等人引入了一种同质EDL框架下的两阶段集成方法。在他们的研究中，卷积神经网络（CNN）算法在不同的2D MRI切片上进行训练，包括矢状面、冠状面和横断面。这导致创建了三个分类器集成，通过验证选择最佳基础模型。随后通过多数投票机制整合这些集成，产生了一个稳健的集成分类器。另一项研究由Razzak等人进行，利用DenseNet及其变体的优势实现了PartialNet。这个层次化管道中的集成网络利用MRI输入进行AD检测。PartialNet中的多样深度和深度监督的整合有助于其潜在优势。Wang等人提出了一种创新策略，采用基于切片的集成方法，利用多个基于VGG-19的模型生成不同切片的初步预测。这些预测在一个基于AlexNet的模型中融合，最终形成精确的最终预测。尽管他们的性能指标显示出希望，但这项研究因使用的数据集有限而受到限制。

       在另一个方向上，AD检测的研究已经扩展到PET成像。Zheng等人提出了一种使用AlexNet算法的集成技术。通过利用62个解剖脑切片和自动解剖标记皮层分割，他们微调了预训练的AlexNet以捕捉相关特征。将DL和解剖数据转换为增强AD检测的途径，显示了PET成像的潜力。

多模态

       在AD检测领域，研究人员通过多模态方法进行创新，通过融合多种数据源（如遗传标记和MRI及PET扫描）实现更高的分类准确性。Zeng等人开创了一种基于MRI和单核苷酸多态性（SNP）的多模态策略。这种方法结合遗传学见解和神经影像数据，深入研究基因组生物标志物的预测。同样，在参考文献【53】中，结合了MRI和18FDG PET扫描，利用小波变换驱动的切片融合，通过CNN和随机向量功能链接（RVFL）分类器进行特征学习和分类融合。尽管这种方法有潜力，但由于数据集限制和模型复杂性，存在挑战。同时，Zhang和Shi转向修改后的ResNet-50模型，通过引入注意力模型，在MRI和PET扫描之间动态分配融合比率，协调特征。这一领域，通过交织的数据和前瞻性的模型，展示了巨大的潜力。通过利用现代模型，Tang等人将视线投向视觉变换器集成，将MRI和PET数据集的见解统一起来，标志着向全面AD检测迈出了决定性的一步。

       同质集成技术使用单一类型的基础分类器，这可能导致对数据集某些方面的偏见。为了确保分类误差收敛到其渐近值，同质集成使用大量分类器。因此，分类器通常需要大量内存，每个测试案例的推理需要大量计算能力。

基于切片的异质EDL方法用于AD检测

单模态

       在AD检测中，利用MRI数据进行早期诊断的各种策略。Choi和Lee提出了一个包含AlexNet、GoogleNet和VGG-16模型的集成，使用三平面投影。复杂性出现，但由于未定义的切片选择和基于概率的分类方法，计算问题依然存在。Ji等人采用了一个三模型集成，包含ResNet、NASNet和MobileNet。在他们的方法中，每个预训练的CNN模型接收20个切片，实现了三个类别分类的可观准确性。然而，切片选择的明确性带来了挑战。Kang等人提出了一种多模态集成，包括GAN、VGG-16和ResNet-50，但由于仅使用冠状面进行集成学习，导致信息丢失。

      利用迁移学习，Sadat等人报告了五个高效CNN模型的实施——VGG-19、Inception-ResNetv2、ResNet152v2、EfficientNetB5和EfficientNetB6——以及一个自定义模型。所有六个分类器的加权平均集成提高了性能。另一项工作探讨了通过多个DenseNet变体进行迁移学习，其中多数投票结合了来自三个MRI平面的见解。Jabason等人融合了每个视图的DenseNet-201和ResNet-50，利用预训练的权重实现了可观的性能。Khanna结合了CNN、LSTM和MobileNet用于单模态数据，而杨等人通过三重迁移学习融合了SVM、softmax和基于DNN的分类器。

       除了T1加权MRI模态，一些工作还结合了其他数据类型，如功能MRI（fMRI）和脑磁图（MEG）。Sethuraman等人使用定制的AlexNet和Inception-v2集成处理fMRI数据。传统分类器交叉决策，但存在分类挑战。Giovannetti等人结合MRI和MEG数据，使用深度迁移建模和基于AlexNet的特征提取器进行集成分类。模型表现令人满意，但由于用于训练和测试的小数据集，存在主要限制。

多模态

      为了提高AD检测，一系列策略正在融合探索多模态方法，通过无缝融合不同数据源实现更高的准确性。Ying等人提出了一个CNN-多层感知器集成模型，结合MRI和SNP信息。这种多模态方法的内在协同作用通过引入互补见解增强了特征规模。然而，由于用于训练和测试的数据集相对有限，存在挑战。Ismail等人介绍了MultiAz-Net，一个包含三个DNN模型的集成，融合了PET和MRI图像。这一架构的三重过程——图像融合、特征提取和分类——得到精确实施。为了优化模型层次，介绍了多目标蚱蜢优化算法(GOA)。这种多模态方法的复杂景观在增强AD检测方面取得了巨大进展。通过协调不同的数据类型，这些努力正将我们带向更准确的AD诊断工具。

      异质集成能够利用不同基础模型的优势，学习训练数据的独特特征，并提供比同质集成更强的泛化性能。然而，开发异质集成面临许多需要仔细解决的挑战，包括选择多样且互补的基础模型、确定组合基础模型输出的最佳权重集，以及识别和选择集成中的最佳分类器子集。

基于切片的堆叠EDL方法用于AD检测

多模态

       设计利用多模态数据潜力的方法提供了增强准确性的策略。Yang等人研究了MRI和PET扫描的融合，通过基于VGG-16的模型创建了一个集成。该整合利用了ADNI和日本-ADNI两个不同的数据源。尽管这种方法有希望，但受限于特征集的限制。由于所用模型和数据集特征的显著差异，直接比较性能变得困难。尽管如此，值得注意的是，与替代的基于切片的模型相比，其声明的准确性相对较低。Fang等人采取了类似的目标，选择了一个结合GoogleNet、ResNet和DenseNet预训练网络的集成，跨越MRI和PET领域。引入AdaBoost作为最终预测分类器提供了潜力，但增加了更高的计算需求。

基于体素的同质EDL方法用于AD检测

单模态

       在AD检测领域，使用EDL算法进行单模态MRI分析揭示了一系列多样的策略，以增强诊断准确性。Ahmed等人通过使用CNN处理多个数据集来探索集成方法的复杂性——用于训练的遗传和罕见疾病（GARD）数据集和用于测试的ADNI。使用基于补丁的分类，作者从sMRI数据中的各个感兴趣区域（ROI）提取补丁。尽管值得称道，但这种策略的全部潜力尚未扩展到全脑计算。参考文献的作者通过使用双区域输入的CNN探索脑区域关联，最终理解导致AD的脑区域关联。AdaBoost进一步增强了区域对AD关联的显著性。

       Suk等人利用深度集成学习稀疏回归模型的力量，将使用不同正则化参数训练的多个稀疏回归模型编织成框架。结合CNN产生非线性权重，增强AD与认知健康、MCI与认知健康以及进展性MCI与稳定性MCI的分类。Wang等人通过梯度漂移和梯度扭曲整理MRI，在与标准模板对齐前去除多余组织。通过3D DenseNet模型和基于概率的融合技术，他们的集成方法诊断AD和MCI，突显了这种融合方法的潜力。同样，Ruiz等人探索了3D密集连接神经网络，将它们集成以预测早期MCI、晚期MCI和AD。通过训练较少参数以放大梯度和数据流，简洁性成为成功的关键。然而，与其他单模态同质方法相比，其准确性相对较低，仍有改进空间。

      文献【12】提出的同质集成模型使用了11个自动编码器，设计用于各种模板化预处理图像。其局限性在于数据集较小和随机选择的MRI扫描，抑制了集成方法的全部潜力。探索一个新方向，Chen和Xia引入了一种基于修改的3D预训练网络的模型，集成了相关大脑区域的深度特征提取。尽管具有创新性，但这种方法的计算成本较高。Malik和Tanveer利用来自ADNI数据集的T1加权MRI扫描，通过体积分析开创了一个EDL模型。结合图嵌入技术的深度RVFL网络被用于特征学习和分类。然而，这种方法在处理大型多维数据集时可能受到限制。Ganaie和Tanveer也提出了一个集成深度RVFL网络，结合LUPI技术进行特征分类。

      除了集成学习的复杂性，Colbaugh等人通过堆叠自动编码器采用迁移学习，优化了目标数据的使用，其在基于血液中的微RNA的AD诊断中的有效性突显了其潜力。这种对基于体素方法的尝试引入了从大脑扫描中提取高维3D信息的可能性。然而，这也伴随着高计算负荷，表明在处理这些扫描中的局部信息复杂性方面存在挑战。

多模态方法

       为改进AD诊断，多模态EDL方法得到了研究。与DNN交织的多种策略反映了提高诊断准确性的追求。

       Lu等人采用了一种多模态集成方法，从MRI和PET扫描中精心提取补丁。模型的训练通过多尺度特征提取融合了两种模态的见解。六个DNN的集成促进了分类训练，最终汇聚成一个基于概率的集成分类器进行决定性计算。尽管其前景看好，但将分类概率输出与源MRI和PET扫描对齐提出了非线性变换的挑战。

       同样，Zhang等人提出了一种独特的多模态交叉注意AD诊断（MCAD）范式。该模型利用sMRI、FDG-PET和脑脊液（CSF）生物标志物增强AD诊断。通过集成级联膨胀卷积和CSF编码器，有效地捕捉模态交互，优化了诊断过程。El-Sappagh等人【81】则开发了一个包含CNN和Bi-LSTM的集成，用于多模态异质AD分类。结合MRI和PET作为输入，这种方法通过CNN和Bi-LSTM层的联合学习。尽管分类和回归使用了减少的特征，但由于包含了Bi-LSTM，模型的计算需求增加。

基于体素的堆叠EDL方法用于AD检测

单模态

      文献【82】提出了一种基于体素的异质EDL模型。作者使用了两个稀疏自动编码器，随后是一个深度信念网络作为特征提取器。最终决策工具使用基于概率的分类器。EDL模型的性能与六种集成学习方法进行了比较。研究表明，所提出的方法在AD分类准确性方面表现出色。

多模态

       Ortiz等人构建并提出了一组深度信念网络，最终的预测使用投票机制选择。在该研究中，开发并评估了两种DL架构以及四种不同的投票系统。结果证明了所提出分类框架的有效性，该框架利用无监督学习计算判别特征。

       在要求自动化学习模型的各种环境中，通常会遇到来自不同来源的数据，这些数据常常提供互补的见解。在AD诊断中，研究人员利用了电脑图（EEG）读数（捕捉1D时间序列数据）和来自MRI或PET扫描的神经影像（产生2D空间数据）。其他考虑因素包括脑脊液（CSF）中特定化学物质的水平，以及诸如年龄、性别和受教育程度等人口统计因素，这些因素表现为标量和分类值。试图将这些不同的特征合并到单一分类器的训练集中是困难的。解决方案通常在于使用EDL方法，其中每种不同的模态独立进行训练，使用专门的同质或异质学习器。随后，可以利用任何前述的组合方法（例如袋装法、提升法或堆叠法）协调每个学习模型的决策。

挑战和未来研究方向

       尽管该领域已达到一定的成熟水平，但我们的批判性分析揭示了仍需科学界进一步探索和关注的几个研究领域。鉴于这些发现，我们现在提供这些挑战的全面概述以及有效解决这些挑战的潜在研究方向。图3提供了概览。

图3：用于AD诊断的集成深度学习的挑战和未来方向。

      视觉呈现了集成深度学习和AD诊断交叉点上识别的六个未解决问题和研究方向，包括与数据建模过程本身相关的问题（例如，多模态、训练和计算效率）、专家知识的整合以及这些模型的可解释性和可信度。

医学知识驱动特征与数据驱动特征的整合

       将基于医学知识的特征（如遗传、环境和行为变量）整合到从神经影像数据中提取的大脑驱动特征中用于AD的检测，是当前研究的重点。目标是开发更准确的检测框架，以识别临床上同质的AD患者群体，并提高我们对疾病过程的理解。机器学习在许多研究中被用于融合医学知识驱动特征、脑影像、神经心理测试和其他生物标志物，以预测AD的阶段。这两种特征的整合可以通过以下几种方式增强AD的研究和诊断：

• 提高诊断准确性：医学知识驱动的特征可以为理解AD的临床表现和诊断标准提供坚实基础。通过整合数据驱动特征（如神经影像生物标志物或遗传风险因素），诊断模型的准确性可以得到提高，从而实现更精确和早期的疾病检测。

• 增强风险预测：整合医学知识驱动的特征和数据驱动的特征，可以开发全面的风险预测模型。通过考虑已知的风险因素（例如年龄和家族史）和通过数据分析识别的新兴生物标志物，临床医生可以更好地评估个体患AD的风险。

• 机制洞察：AD是一种复杂的疾病，具有多种潜在机制。将医学知识驱动特征与数据驱动特征结合，可以帮助揭示新的疾病机制，识别潜在的治疗靶点，并指导新治疗方法的开发。

• 纵向监测：结合医学知识驱动的特征和数据驱动的特征，可以实现对疾病进展和治疗反应的长期监测。通过整合临床评估、神经影像数据和其他生物标志物，研究人员和临床医生可以跟踪患者认知能力、大脑结构和生化特征的变化，从而提供有关干预效果的宝贵见解。

      要实现上述整合，机器学习和人工智能领域的几个研究方向应受到更多关注，包括物理信息神经网络、知识图谱和语义数据库在机器学习中的应用、多模态数据融合，以及所有允许在数据建模过程中整合专家知识的学习机制。当前的研究重点是将基于医学知识的特征（如遗传、环境和行为变量）整合到从神经影像数据中提取的大脑驱动特征中，用于AD的检测。目标是开发更准确的检测框架，以识别临床上同质的AD患者群体，并提高我们对潜在疾病过程的理解。机器学习在许多研究中被用于融合医学知识驱动特征、脑影像、神经心理测试和其他生物标志物，以预测AD的阶段。

多模态数据分析

       第二个挑战在于有效整合新的数据模态，用于AD的特征描述，利用多个数据源实现这一目标。随着对AD理解的不断扩展，整合传统临床评估和神经影像以外的多样化数据类型变得越来越重要。新数据模态，如神经影像生物标志物和组学数据（基因组学、蛋白质组学和代谢组学），提供了有关疾病进展和潜在机制的宝贵见解。通过EDL整合这些数据模态，有助于补充特征分析并提高泛化能力。然而，数据质量、计算成本、标准化以及需要稳健的分析框架来利用这些新兴数据源的潜力，仍然是面临的挑战。

       EDL技术可以有效地分析这些数据模态。EDL结合了集成学习和深度学习的力量，使得能够在AD研究中研究多样的数据模态。以下是一些新兴数据模态及其通过EDL利用的方法：

• 神经影像数据：不同的神经影像模态，如MRI、PET和fMRI，提供了关于大脑结构、代谢和功能连接的详细信息。使用集成技术的DL模型主要建立在MRI数据之上，因为这些扫描比PET或fMRI扫描更容易获得。然而，PET测量葡萄糖代谢以提供代谢信息，而fMRI揭示了与AD早期症状相关的大脑活动变化。将所有这些信息结合在一起将提高AD诊断的准确性。EDL可以用于整合结构、代谢和功能数据，通过训练多个DL模型从不同的影像模态中提取相关特征。模型的集成可以捕捉AD相关变化的互补方面，从而提高疾病特征描述和预测。

• 组学数据：整合多个组学数据模态，如基因组学、蛋白质组学和代谢组学，提供了关于AD的全景视图。基因组学研究调查了与AD风险和进展相关的遗传变异和基因表达模式的关联。蛋白质组学是对蛋白质结构、功能和在生物体细胞环境中的信息传递的全面调查。代谢组学研究代谢过程中产生的小分子化合物，包括氨基酸、脂肪酸和碳水化合物。通过EDL整合基因组学、蛋白质组学和代谢组学数据，有助于从每种模态中学习并收集更好的信息，提高AD预测。

     在AD诊断领域，使用EDL分析2D切片数据相对于3D体素数据提供了一系列机会和挑战。3D体素数据允许无缝整合上下文信息，提高对细微结构变化的敏感性。然而，它们也引入了一系列挑战，包括更高的计算需求、数据预处理的复杂性以及需要有效整合来自多种影像模态的数据。未来的研究需要关注精细的融合方法，利用迁移学习和预训练，优化硬件和软件组件。成功应对3D体素数据的复杂性，特别是在多模态背景下，是未来EDL在AD研究中的一个关键途径。这一努力有望显著提高诊断模型的精度和可靠性。

      视网膜是大脑的解剖延伸，具有许多相同的特征，如胚胎学起源、复杂的神经递质病理生理、精确的神经细胞层、血管、微血管和小胶质细胞。研究人员已经调查了AD患者的视觉变化，如对比敏感度改变、颜色视觉异常和视野缺损等预后因素。在小鼠模型中，研究人员还发现了视网膜中涉及淀粉样蛋白β和tau蛋白的蛋白聚集。还发现了一些结构变化，包括脉络膜厚度减少、黄斑厚度和体积增加以及视网膜神经纤维层增厚。将视网膜生物标志物与使用EDL的神经影像模态结合进行融合和建模，有助于AD的早期识别和监测。

计算效率

      利用同质或异质技术训练一组独立模型是一种相对容易利用并行处理的方法。然而，虽然并行化相对简单，但如果单个模型是大型深度架构且数据集庞大，则训练所需的计算量非常昂贵。因此，应用计算昂贵的复杂EDL模型进行AD诊断可能不可行。知识蒸馏在这一领域变得越来越流行，用于将特定领域的知识和/或复杂机器学习模型捕获的知识转移到更简单的模型，这些模型更易于理解和最终信任。这种机器学习技术用于将知识从复杂或深度模型转移到更简单、计算上更轻量和/或更可解释的模型。因此，为了克服AD检测中的问题，设计适当的EDL架构是一个巨大的机会。我们将集成设计称为“增量式”，即新数据可以有效地学习，并且集成中模型捕获的知识之间的多样性应以智能方式进行控制，以避免通过“蛮力”构建集成（即，让袋装法或采样随机诱导多样性，而没有任何控制）。这种策略在学习者可以快速学习时是合理的（例如，随机森林模型中的树），但对于DNNs，集成技术需要更智能地多样化知识。

模型可解释性

       深度学习模型在各种任务中表现出色。然而，由于其层次化的非线性和黑箱行为，解释其动作是困难的。深度模型难以解释，这对诸如AD检测等关键预测任务的可靠性提出了严重问题。混合多个深度模型加剧了这个问题。为了在设计和评估过程中增加模型的透明度，应采用解释性和可解释性的方法。因此，开发易于理解且其结果在临床实践中具有可信可操作性的EDL框架是高度期望的。

       在AD中，除了做出诊断外，分析大脑哪些部分更可能受到疾病影响也是重要的。因此，随着我们从预测到预防方面的进展，模型可解释性至关重要，这增加了临床医生对模型的信任和实用性。此外，模型可解释性可以通过简化医疗数据中视觉预测因子的检查，加速手动注释过程，将医学专家的注释工作集中在不确定性最高和解释最不精确的实例上。依靠EDL的诊断模型与临床医生之间的互动可以利用这些模型的内在能力来聚合不确定性和其组成DL模型的解释。

新型架构和训练策略

       确定最优的单一或混合架构对于在给定领域和应用中获得最佳性能至关重要。DL在从大量数据中学习方面取得了巨大进展。然而，DNN在小数据集上的泛化能力较差，表现不一致。集成方法的主要特征是稳定性。利用这种关键特性，专门解决小数据集挑战的一系列EDL技术允许在AD检测中使用DL和集成技术。通过现代集成技术和广泛的DL模型，有很大的潜力设计出适应AD检测中小数据集问题的新型架构。调整DNN架构中的参数是一门计算机科学中正在发展的领域。DNN中有大量参数需要更新。增加隐藏节点的数量也增加了算法陷入局部最优的可能性。新型训练算法可以提取特征并减少信息丢失，从而克服局部最优和维度灾难问题。现有的医学数据并未被机器学习完全利用，主要是因为它们存在于数据孤岛中，并且由于隐私问题而限制了对数据的访问。然而，如果没有足够的数据，EDL将无法发挥其全部潜力。联邦学习可以为EDL在AD疾病特征描述和评估中的高需求提供解决方案，允许不同医院和医疗中心的多个远程模型利用彼此建模的知识，同时保证本地捕获的医学数据的隐私。联邦学习包含不同的算法来收集、分发、聚合和更新本地学习的模型，共享模型参数信息，同时保持数据的本地化和私密性，并在过程中避免共享数据。

      DNN使用基于梯度的训练过程，存在一些额外的困难：陷入局部最小值、拥有数百万或数十亿个可调参数以及训练收敛速度慢。为了解决这些问题，可以使用多种方法，例如基于随机化的神经网络、前向-前向方法进行神经训练，以及深度集成决策树，通常称为深度森林（gcForest），这些方法在其架构优化、认知不确定性和可解释性方面提出了新挑战。除了更低的训练延迟外，与从头开始在新数据集上训练的神经网络相比，预训练特征和这些替代模型一起使用也可以提供更低的归纳偏差。探索不同EDL形式（包括更可解释的决策树集成）之间复杂性、性能和可解释性之间的权衡是未来研究的一条未知途径。

基于感兴趣区域（ROI）的分析与认知能力下降的关联

      过去几年，EDL模型被广泛用于区分AD患者和认知健康个体。在此过程中，必须考虑其他医学相关方面。其中一个重点是预测从轻度认知障碍（MCI）到AD的转变，区分稳定的MCI和进展的MCI。值得注意的是，美国食品药品监督管理局（FDA）已经批准了aducanumab（商品名Aduhelm）作为AD的治疗方法。Aducanumab可以用于轻度痴呆或MCI的患者，它能减少大脑中的淀粉样蛋白斑块。然而，确定aducanumab对MCI患者的适用性至关重要，因为它特别推荐用于AD引起的痴呆风险（即进展性MCI）患者。因此，通过使用EDL模型准确识别有进展为痴呆风险的MCI患者在临床环境中可能具有重要价值。此外，一个令人鼓舞的研究方向是使用EDL模型在早期阶段检测有显著记忆问题的人。识别认知能力下降的早期迹象在早期检测、预测价值、研究队列选择和AD干预机会方面具有关键作用。

      除了AD诊断，EDL模型还可以用于AD研究的其他方面，例如白质高信号的分析。白质高信号的存在和严重程度与AD的发展或认知能力下降的风险增加有关。EDL模型旨在通过利用多个DL架构并结合其预测来提高AD诊断的准确性和可靠性。基于ROI的方法允许对AD病理中涉及的特定大脑区域进行有针对性的调查。尽管其潜力巨大，但在AD诊断中基于ROI的分析的集成方法仍有进一步探索和优化的空间。未来的研究可以深入选择相关和最受影响的大脑区域，揭示基于疾病进展的受影响的大脑区域的变化。因此，未来的研究努力可以针对个案研究，研究不同大脑区域的影响，并阐明大脑萎缩与人口统计因素之间的复杂关系。例如，大脑中淀粉样蛋白斑块的积累被认为是AD发病机制中的一个早期破坏事件。斑块和神经纤维缠结主要发生在特定的大脑区域，包括海马、内嗅皮层、杏仁核和基底前脑。这些区域在记忆、学习和情绪行为中起着重要作用。基于ROI的分析可以帮助预测从MCI到AD的转变，区分稳定的MCI和进展的MCI。在体素研究中，使用脑图谱如哈佛-牛津图谱和使用FreeSurfer工具箱的自动解剖标记图谱识别ROI。在基于切片的研究中，可以从3D体积图像中提取2D切片，并将其分割为白质、灰质和脑脊液进行区域分析。使用统计分析（如P值）可以检测AD分期的最显著ROI。这些最显著的ROI可以用于使用EDL预测从MCI到AD的转变。在这一努力中，不是使用多模态信息，而是仅在sMRI上进行实验，但有更多重要的信息。

使用2D切片数据和3D体素数据的机会和挑战

      对于AD诊断，在EDL中使用2D切片数据而不是3D体素数据提供了一系列机会和挑战。从积极方面来看，3D体素数据允许无缝整合上下文信息，并提高对细微结构变化的敏感性。然而，它们也带来了一系列挑战，包括更高的计算需求、数据预处理的复杂性以及需要有效整合来自各种成像模态的数据。未来的研究需要关注精细的融合方法，如跨模态注意机制或深度特征融合架构，从而有效结合多模态信息，利用迁移学习和预训练，优化硬件和软件组件。成功应对3D体素数据的复杂性，特别是在多模态背景下，是未来EDL在AD研究中的一个关键途径。这一努力有望显著提高诊断模型的精度和可靠性。

结论

      阿尔茨海默病（AD）是主要的致死原因之一，特别是在发展中国家。由于在临床上准确预测AD非常复杂，因此已经研究了结合医学专家和计算机辅助诊断的方法，以有效识别AD。在为此目的采用的各种建模选择中，近年来集成深度学习（EDL）技术在AD预测系统中获得了越来越多的关注。其卓越的泛化能力和集成本质所带来的多样化数据模态的整合，激励了社区将注意力转向这一模型家族。

      本综述详细解释了AD和EDL的交汇点，介绍了这种疾病的基本原理、前驱症状、现代诊断标准及相关的生物标志物，如MRI、PET和fMRI。我们检查了这些多种神经影像模态如何通过EDL建模来改进AD的预测。在此背景下，文献中主要探讨了预训练的卷积深度学习集成，并取得了迄今为止无与伦比的性能。我们展示了如何将神经影像与其他参数（如神经心理测试和遗传数据）结合，并在深度集成中组装在一起，以实现更准确的疾病建模和细致评估。这种适应不同模态的灵活性及其集成结构所带来的其他好处（例如，置信度估计的简便程序），对于在实际医疗环境中应用EDL至关重要。

      EDL的一个回报是模型复杂性的增加，特别是在建模神经影像数据时。在这方面，基于切片的方法由于其处理2D神经扫描的潜力，比基于体素的方法更经济，后者需要更低的计算能力。总的来说，我们的文献分析表明，应以高效的多模态纵向方法为目标，作为依赖EDL的AD预测系统的最终目标。数据孤岛化、数据稀缺性或类别不平衡的问题可以通过EDL技术有效解决，同时在这些益处与模型在实际应用中所需的增加计算能力之间进行适当的权衡。

      我们希望本综述激发了对用于AD检测的EDL技术的兴趣，标志着评估我们目前所处位置的一个里程碑，并建议了未来几年在此方向上协调推进的新研究方向。