JAMA Psychiatry：基于机器学习的重性抑郁症生物标志物的系统性评估

关键点 ：

      问题：多变量机器学习方法能否识别重性抑郁症（Major Depressive Disorder, MDD）患者的神经特征？

     研究发现：这项包括1801名抑郁症患者和健康对照的神经影像病例对照研究表明，最佳的机器学习算法在主要神经影像模式中仅达到62%的诊断分类准确率。

     含义：尽管多变量神经影像标记相比单变量分析增加了预测能力，但没有发现能够识别单个患者的抑郁症生物标记。

摘要

     重要性：生物精神病学旨在理解精神障碍与神经生物学途径的改变。然而，对于其中最普遍和致残的精神障碍之一，重性抑郁症（MDD），尚未发现具有信息性的生物标记。

      目标：评估机器学习（ML）是否能够识别MDD的多变量生物标记。

    设计、设置和参与者：本研究使用了马尔堡-明斯特情感障碍队列研究（Marburg-Münster Affective Disorders Cohort Study）的数据，这是一项病例对照临床神经影像学研究。2014年9月11日至2018年9月26日期间，在德国明斯特和马尔堡，从初级保健和普通人群中招募了18至65岁的急性或终身MDD患者以及健康对照。使用明斯特神经影像队列（Münster Neuroimaging Cohort, MNC）作为独立的部分复制样本。数据分析时间为2022年4月至2023年6月。

      暴露：MDD患者和健康对照。

    主要结果和测量方法：使用基于机器学习（ML）的广泛多变量方法，在个体层面上量化了诊断分类的准确性。这一方法涵盖了全面的神经影像学模式，包括结构性和功能性磁共振成像、弥散张量成像，以及抑郁症的多基因风险评分。

     结果：在1801名参与者中，1162名（64.5%）是女性，平均（标准差SD）年龄为36.1（13.1）岁。总共有856名MDD患者（47.5%）和945名健康对照（52.5%）。MNC复制样本包括1198名个体（362名MDD患者[30.1%]和836名健康对照[69.9%]）。训练和测试总共400万个ML模型后，诊断分类的平均（SD）准确率介于48.1%（3.6%）和62.0%（4.8%）之间。将神经影像学模式整合在一起，并根据年龄、性别、治疗或缓解状态对个体进行分层，不会提高模型性能。在研究站点内部复制了这些发现，并且在MNC的结构性磁共振成像中也观察到了类似的结果。在完美可靠性的模拟条件下，性能没有显著提高。对模型错误的分析表明，症状严重程度可能是识别MDD亚群的潜在焦点。

     结论和相关性：尽管与单变量神经影像标记相比，多变量标记具有更好的预测能力，但即使在经过广泛ML优化并在大量已诊断患者样本中进行研究，也无法识别出具有信息性的个体层面的MDD生物标记。本文发表在JAMA Psychiatry杂志。（可添加微信号19962074063或18983979082获取原文及补充材料，另思影提供免费文献下载服务，如需要也可添加此微信号入群，另思影承接白质高信号分割与分析业务，如感兴趣也可咨询)

引言 

       在20世纪，克服笛卡尔的心灵-身体二元论是生物精神病学的关键成就，使得精神障碍得以作为大脑疾病来治疗。自从神经精神药理学治疗的有效性，以及许多精神疾病在原则上具有显著的遗传性得到支持，因此人们对生物标记能够为诊断和治疗提供信息寄予了很高的期望。然而，即使在数十年的密集研究之后，识别出具体的、可靠的、在个体患者层面上有信息性的神经生物学偏差仍然是难以捉摸的，患者的临床现实几乎没有改变。

     对于重性抑郁症（MDD），越来越多的证据表明，与健康对照相比，MDD患者的群体水平、单变量神经影像学或遗传标记只有微小的差异。

     在过去十年中，由于大规模数据集的可用性和机器学习（ML）软硬件的显著改进，精密精神病学已经越来越受到关注。精准精神病学旨在建立模型，以实现对个体的预测，从而从研究单变量统计群体差异转向多变量神经生物学模式的个体患者。

      尽管对于精准精神病学和ML的最佳实践指南已经逐渐形成共识，但MDD生物标记研究中仍存在四个广泛的问题，这可能导致对真实预测性能的大幅高估和低估。首先，预测模型验证中的方法学缺陷（例如，训练集和测试集之间的数据泄漏，缺乏验证）导致许多研究中预测性能的高估。同样，目前文献中最常见的小样本模型评估，往往导致预测性能估计不可靠且最终被夸大。其次，许多已发表的研究依赖于单一的ML算法，通常没有通过超参数调整来优化模型性能，从而存在极大低估真实预测性能的风险。第三，目前的研究几乎专注于单一数据模态，而集成多种模态以提高预测性能的研究很少。第四，各项研究对MDD诊断的临床评估不一致，尤其对于大型研究，通常依赖于自我报告问卷而非经过培训的临床医生的临床访谈，因此使得诊断标签更加异质化和不可靠。同样，研究协议缺乏标准化，导致患者样本的临床异质性、招募模式、质量控制和神经影像数据获取，在多站点分析中导致小效应大小和不一致的结果。

      总的来说，当前的文献尚未提供足够证据来明确评估机器学习（ML）方法在识别多变量重性抑郁症（MDD）生物标记的有效性。因此，本研究旨在系统评估目前领域内基于神经影像的生物标记可实现的分类准确性。我们明确解决了之前的不足，系统评估了基于ML的多变量MDD生物标记；我们进行了嵌套交叉验证，将模型优化步骤与泛化能力估计分开，并确保通过使用最大的单项研究MDD队列之一来获得足够的测试集，该队列提供了多模态数据和深入的诊断评估。接下来，我们没有依赖单一的预测算法，而是利用ML软件的进步，结合了来自互补算法类别的多个分类器，包括特征选择、降维和模型超参数的广泛调整，总共训练和评估了400万个ML模型。扩展之前的工作，我们利用了包括结构性磁共振成像（MRI）、任务驱动和静息态功能性MRI（fMRI）、弥散张量成像以及MDD多基因风险评分（PRS）和几种环境风险因素在内的全面的神经影像模态集。这使我们能够直接在同一样本中比较不同模态的预测性能，并量化了多模态数据整合的潜在益处。此外，我们的数据中对患者的临床评估是基于DSM-IV的结构化临床访谈（SCID），它提供了标准化的基于DSM的MDD诊断，减少了目前大规模、多站点数据中常常阻碍模型性能的诊断不确定性。同样，由于不同的排除标准、招募模式、临床表型或MRI扫描协议等造成的方法学异质性，在这个精心策划、标准化的样本中得以缓解。所有分析都在两个研究站点内复制。此外，使用了一个独立样本来复制结构性T1加权MRI模态的ML分析。

     最后，目前文献中报道的小效应大小的主要驱动因素之一是神经影像数据和精神病诊断的低可靠性正在被讨论。为了解决这一假设，我们系统地模拟了在最佳可靠性情境下的分类性能，并量化了预期的改进。考虑到MDD患者的显著异质性，我们最终进行了深入的模型错误分析，以揭示导致错误分类的患者特征，从而阐明了基于神经影像的预测模型可能成功或失败的亚群。

方法

研究设计与参与者

      本研究主要分析的数据来自马尔堡-明斯特情感障碍队列研究（MACS）。数据于2014年9月11日至2018年9月26日期间在德国马尔堡和明斯特两地点收集，使用相同的研究协议和协调一致的扫描器设置。共有2036名健康参与者和MDD患者作为MACS队列的一部分被招募。MDD诊断是通过SCID评估的，轴1类障碍。排除了有神经系统或医学病史的个体，最终样本为1801名。对于每种神经影像数据模态，所有数据通过质量检查的参与者都被用于后续分析。MNC复制样本使用了类似的纳入和排除标准。本研究遵循了透明报告多变量预测模型个体预后或诊断（TRIPOD）报告指南。FOR2107队列项目已获得马尔堡大学和明斯特大学医学院伦理委员会的批准。参与者收到了财务补偿并给予了书面知情同意。

表.所有参与者的社会人口学和临床特征

BDI：Beck抑郁量表（Beck Depression Inventory）

CTQ：童年创伤问卷（Childhood Trauma Questionnaire）

HAMD：汉密尔顿抑郁量表（Hamilton Rating Scale for Depression）

MDD：重性抑郁障碍（Major Depressive Disorder）

MRI：磁共振成像（Magnetic Resonance Imaging）

NA：不适用（Not Applicable）

VBM：体素基态形态测量（Voxel-Based Morphometry）

a 通过适当的t检验或χ2检验计算。

b 终生共病症是根据DSM-IV的结构化临床访谈得出的。对于任何MDD患者，可能存在多重共病症。

程序和神经影像数据模态 

      本研究使用的神经影像、遗传和行为数据已在之前描述。具体信息详见补充材料中的eMethods 4-12。简而言之，从T1加权结构性MRI中提取了基于体素的形态测量（VBM; CAT12工具箱版本r1450）和基于区域的表面、厚度和体积（FreeSurfer版本5.3）。从弥散张量成像中导出了结构性连接组，如分数各向异性和平均扩散率。从静息状态fMRI中导出了功能性连接组、基于体素的局部相关性、低频波动的振幅（ALFF）和分数ALFF。对于结构性和功能性连接组，计算了常用的图网络参数，如介数中心性、度中心性或全局效率。基于任务的fMRI基于一个已建立的情绪面部匹配范式。此外，我们还将结果与抑郁症多基因风险评分（PRS）以及童年期不良经历（童年创伤问卷）和当前社会支持（F-SozU）的问卷数据进行了比较，因为这些变量是MDD病因学中已确定的风险或保护因素。计算了药物负荷指数，表示当前的精神药物。使用Beck抑郁量表（BDI）和汉密尔顿抑郁量表（HAMD）评估了当前的抑郁症状。在MNC复制分析中使用了结构性T1加权MRI数据（FreeSurfer和VBM）。

主要结果

      所有机器学习（ML）模型预测的诊断标签准确性使用平衡分类准确度（BACC）进行计算。此外，我们还计算了马修斯相关系数（MCC）。为了评估预测模型的泛化能力，报告了所有指标在10次外部交叉验证中的平均值和标准差（SD）。

ML分析

      共训练、优化并评估了400万个ML模型，用以分类健康参与者和MDD患者（补充材料1中的eMethods 14和eTable 40）。单个ML管线包括缺失数据的插补、特征标准化以及（可选的）特征选择或主成分分析（PCA），以减少大脑数据的维度（图1）。随后，训练一个分类算法来预测诊断，包括支持向量机、随机森林、逻辑回归、k最近邻、高斯朴素贝叶斯和增强分类器。为了优化超参数并评估最终的泛化能力，使用了包含10个内部验证和10个外部测试划分的嵌套交叉验证方案。

     这些主要的ML分析还包括针对以下亚群的分析：急性抑郁症患者（排除缓解的抑郁症）、复发性抑郁症患者（排除单次发作的抑郁症）、有或没有合并症的患者、目前正在接受和未接受药物治疗的患者、男性和女性患者，以及年龄相近的群体（年龄范围24至28岁），并在两个研究站点内复制（补充材料1中的eMethods 3）。脑模态整合通过使用来自每种数据模态的PCA成分组合或结合来自单模态模型的所有诊断预测的投票集成策略来实现。所有ML分析均使用PHOTONAI进行。脚本可在网上获取。

模拟完美可靠性 

       为了量化可靠性对分类性能的影响，我们进行了探索性分析，使用经典测试理论的衰减校正来估计如果数据的可靠性完美时的真正分类准确度。首先，我们使用以下方程从模型预测（ŷ）和实际诊断标签（y）计算了马修斯相关系数（MCC）：MCC = Covariance(y,ŷ)/(σy×σŷ)。然后，我们根据假定的可靠性（ρ）使用衰减公式对此相关性进行了校正：MCC相关性 = MCC/√ρ。

      我们进行了两个单独的衰减校正分析。首先，我们根据DSM-5诊断的互评可靠性的当前文献（ρy = 0.28）假定了MDD诊断的可靠性。其次，我们假设了神经影像数据的可靠性，范围从0.1到1。然后，将得到的校正相关性转换回平衡分类准确度（BACC），使用了预valence（ϕ）和偏差（β），根据Chicco等人的方程15和21进行转换（eMethods 13 in Supplement 1）。

图1 所有分析的概述。

A，机器学习管道的步骤。

B，可靠性校正及其对分类准确性的影响。

C，使用通过重复自举的错误分类频率（MF）的模型错误分析。

BDI表示贝克抑郁量表；fMRI表示功能性磁共振成像；MDD表示重性抑郁症；MRI表示磁共振成像。

系统模型误差分析

      在每个个体中，我们通过对表现最佳的神经影像学模态训练集进行了100次bootstrap重采样运行，量化了误分类的趋势（详见补充资料1中的电子附录15）。简而言之，对于每个bootstrap训练集，我们训练了一个机器学习管道，并收集了测试集中参与者的诊断标签，从而为每个参与者得到了100个预测结果。然后，错误分类的总和导致了误分类的频率（MF）。最后，我们使用Spearman秩相关分析将MF与描述抑郁症状严重程度以及人口统计学或环境特征的外部测量进行了相关性分析。

统计分析 

     组间比较的P值基于t检验或χ2检验，具体根据情况而定。显著性水平设定为P < .05，所有P值都是双侧检验。统计分析使用基于Python的统计软件statsmodels版本0.14进行。

结果

     共有1801名参与者被纳入研究，其中1162人（64.5%）为女性，平均（标准差）年龄为36.1（13.1）岁（见表）。共有856名抑郁症患者（47.5%）和945名健康对照（52.5%）。MNC样本包括1198名个体（362名抑郁症患者[30.1%]和836名健康对照[69.9%]；平均[标准差]年龄为35.3 [12.6]岁；682名女性参与者[56.9%]；见补充资料1的电子附录38）。

多元分类准确性 

     在神经影像学模态和机器学习算法中，平均（标准差）的平衡分类准确性（BACC）范围在48.1%（3.6%）至62.0%（4.8%）之间（见补充资料1的电子附录1、2、40和电子图8）。每个模态中单一最佳的机器学习算法的结果显示在图2中。静息态连接的BACC(平衡分类准确度)最高，平均（标准差）的BACC在51.5%（7.1%）至61.5%（3.4%）之间。与所有静息态fMRI模态相比，结构性MRI以及任务型fMRI表现出较低的BACC。

      仅对急性抑郁症患者（n = 599）、仅对缓解期抑郁症患者（n = 297）、仅对合并症患者（n = 373）或无合并症的患者（n = 482）进行的ML管道分析，或者仅对当前正在接受药物治疗的患者（n = 535）或不在接受药物治疗的患者（n = 321）进行的分析结果与包含所有抑郁症患者的分析结果相似（最大BACC = 64.8%）。同样，将分析限制在男性或女性个体，或年龄更为均匀的24至28岁年龄范围内，也不改变总体结果（最大BACC = 61.6%；见补充资料1的电子图1至5和电子附录5至31）。额外的样本大小模拟分析没有显示出训练样本大小与模型性能之间的明显关联（详见补充资料1的电子附录17和电子图9）。非线性降维方法没有超越线性方法（详见补充资料1的电子附录18和电子图10）。

图2. 最佳机器学习管道的平衡准确性

每个模态中最佳机器学习管道的平衡准确性。误差线显示了在10个外部交叉验证折叠中计算的1个标准差。ALFF，低频波动振幅；DTI，扩散张量成像；FA，分数各向异性；fALFF，低频波动的分数振幅；fMRI，功能性磁共振成像；LCOR，局部相关性；MD，平均扩散度；MRI，磁共振成像；PRS，多基因风险分数；RS，静息态；VBM，基于体素的形态学。

多模态数据整合 

      使用特定模态的主成分进行神经影像学模态的整合，平均（标准差）BACC在50.1%（4.0%）至57.2%（4.4%）之间（图2；见补充资料1的电子附录3）。将来自单模态模型（跨算法、跨模态或两者兼有）的预测标签合并成多数票集成分类器，实现了平均（标准差）BACC为61.1%（4.4%）。两种多模态数据整合方法都没有提高最佳单模态模型的61.5%准确性。将来自所有ALFF模型的预测合并实现了平均（标准差）BACC的最高值，为62.0%（4.8%）。

可重复性分析 

      主要发现在马尔堡和明斯特样本中独立复制。在马尔堡样本中，平均（标准差）BACC最高为59.2%（5.1%），在明斯特样本中为60.0%（9.0%）（见补充资料1的电子附录32至37和电子图6和7）。在独立的MNC样本中，区域性皮层和亚皮质表面、厚度和体积的平均（标准差）BACC为54.0%（5.1%），而VBM分析的平均（标准差）BACC达到了53.4%（4.4%）（见补充资料1的电子附录39）。

与遗传和环境变量的比较 

      接下来，我们将基于神经影像学的机器学习模型与基于遗传和环境变量的单变量方法的预测性能进行了比较。虽然Howard等人使用的抑郁症PRS（遗传风险分数）取得了与神经影像学类似的结果（平均[标准差] BACC为58.4% [5.0%]），但自我报告的童年虐待和社会支持都优于基于大脑和PRS的模型，分别达到了平均（标准差）BACC为70.5%（2.9%）和70.6%（3.0%）。

诊断和神经影像数据的可靠性效应 

      实际诊断与预测诊断之间的MCC相关系数是通过使用衰减校正公式进行校正的，该公式估算了在完全可靠性的情况下的分类性能。我们首先对MDD诊断可靠性的下限（ρy = 0.28）进行了校正，这是根据文献报道的（图3A）。在校正后，静息态连接的最佳ML算法的平均（标准差）BACC增至71.8%（6.4%）。投票集成的平均（标准差）BACC增至73.4%（7.4%）。接下来，我们假设神经影像学模态的可靠性系数在0.1和1之间（图3B）。对于最佳单模态分析（静息态连接），在可靠性系数为0.5的情况下，BACC增至66.3%。这些可靠性校正分析表明，提高可靠性可能仅对分类准确性产生轻微积极影响。

图3. 平衡精度校正后的结果 

A, 在对重性抑郁障碍（MDD）诊断的实证可靠性进行衰减校正后，每种模式下最佳机器学习流程的平衡精度。误差条显示了10个外部交叉验证折叠中计算得出的1个标准差（SD）。

B, 在对神经影像数据的模拟可靠性进行衰减校正后，每种模式下最佳机器学习流程的平衡精度。模拟可靠性为1时，对应于单模式分析中实现的实证结果。降低模拟可靠性会导致校正后的平衡分类精度（BACC）。

ALFF，低频波动幅度；DTI，扩散张量成像；FA，分数各向异性；fALFF，低频波动的分数幅度；fMRI，功能性磁共振成像；LCOR，局部相关性；MD，平均扩散率；MRI，磁共振成像；PRS，多基因风险评分；RS，静息状态；VBM，体素基态形态测量。

系统模型误差分析 

      根据在单模态分析中取得最佳性能的模态（静息态fMRI连接）来衡量每个个体被错误分类为健康或抑郁的频率，使用MF(错误分类频率)进行了测量。MF与抑郁症患者的症状严重程度显著相关（见补充资料1的电子附录4）。目前抑郁症症状水平较高（BDI和HAMD评分较高）以及较多的以前住院次数与较少的误分类相关（BDI：621名患者；r = -0.15；P < .001；HAMD：628名患者；r = -0.20；P < .001；住院次数：622名患者；r = -0.10；P = .01），表明目前抑郁症症状较严重且以前疾病病程不利的患者更容易被正确分类为MDD患者。类似的效应也在全球功能评估较低、药物负担较高以及存在合并症的情况下得到了证实（见补充资料1的电子附录4）。

讨论

      延续了最近的证据，显示患有抑郁症和健康对照组之间的单变量群体水平差异很小，我们对多元神经影像学特征基础上的机器学习方法进行了系统评估，用于对抑郁症患者和健康对照组进行分类。总结而言，在一个庞大的、经过协调的样本上，我们训练和测试了总共400万个机器学习模型，但预测抑郁症诊断的准确性并没有超过62%。尽管相对于使用单变量神经影像和遗传标志物的56%到58%的分类准确性，这个系统评估多元方法的结果略有改善，但仍然显示出令人不安的差距，这一结果远低于以前的预期。

     考虑到生物精神病学的基本假设是精神障碍具有神经基础，因此对于该领域来说，有必要解释为什么在当今最常研究的各种模态下，没有在个体水平上发现有关MDD的神经生物学表现的可靠信息。我们将讨论有关神经影像数据和MDD概念的可靠性和有效性的多个观点。

      在解决有关可靠性的争论时，我们表明，即使在诊断或神经影像数据完全可靠的条件下，仍然很难在个体患者水平上做出可靠的预测。需要注意的是，这种方法只能模拟与最终模型预测相关的完美可靠性，因此不直接涉及不同数据或预处理流程对模型训练可能产生的影响。尽管提高神经影像数据的可靠性可能会导致更稳定的机器学习模型，但考虑到MRI数据的已知可靠性估计与我们的分类结果之间完全缺乏相关性，这似乎不太可能。

      除了对可靠性的担忧，我们还可以对神经影像数据的有效性提出质疑，即其是否能够捕捉到解释MDD表型所必需的神经生物学信息。如果我们认为当前方法在这方面存在不足，那么有几个研究方向可以增强我们对这种障碍的理解。这些方向包括提高空间或时间分辨率、采用更先进的实验范式、改进数据预处理技术，以及采用能够模拟个体神经生物学与当前症状和发作相关的纵向研究设计。

      另一方面，如果我们认为当前神经影像学模态中包含解释行为和心理过程的相关信息，那么MDD构建的生物学有效性问题似乎更有道理。与其仅关注MDD的诊断，不如看待纵向数据和跨不同诊断的临床相关结果，这可能会导致更准确的预测，例如将神经影像标志物与长期疾病轨迹相联系。实际上，关于MF(错误分类频率)相关性的结果支持了症状严重程度与神经生物标志物之间的关联，这表明具有更高当前症状水平和以前疾病病程不利的患者更容易被检测和正确分类。

      同样地，病例对照设计可能过于简化，无法充分模拟大脑与行为之间的复杂关系。规范建模可以捕捉个体患者的偏差，从而克服了需要在所有MDD患者之间找到共同生物学原因的必要性。同样地，通过在DSM诊断中进行聚类来识别MDD生物类型可能是一个有前途的方法。但需要更多的研究来探讨这些方法是否真的能够提高对个体患者的临床信息预测。

优势和局限性 

       我们的研究在现有的机器学习研究上提供了4个主要改进。首先，通过使用具有足够大测试集的嵌套交叉验证，降低了预测性能估计被夸大的风险。其次，我们系统地优化了许多可能的机器学习流程和算法。第三，我们整合了来自11种神经影像模态和预处理方法的数据。第四，我们使用了在单一研究中收集的大样本，无需跨多个研究和采集过程进行数据汇总，从而有效地减少了由多个扫描站点、神经影像预处理流程和人群差异引起的方法学异质性。此外，我们能够通过依赖SCID访谈来减少诊断的不确定性。因此，我们提供的证据表明，低预测性能不能被研究的不协调或非标准化诊断所解释，正如以前所暗示的。在两个研究站点进行的复制以及MNC样本中对T1加权结构性MRI的独立复制结果，为我们的发现提供了重要的稳健性，并进一步支持了我们的结论。

这项研究存在局限性

       我们对样本大小的附加分析未显示出样本大小与模型性能之间的明显关联。这表明增加样本大小不一定会显著提高性能。或者，总体样本大小可能仍然不足以可靠地检测模型性能的一致增加。在后一种情况下，这可能意味着需要更大的样本量才能建立关于神经影像数据作为MDD生物标志物潜力的确凿证据。在同一思路下，我们的亚组分析，特别是那些关注具有或不具有合并症或治疗的患者的分析，导致了样本量的大幅减少，这可能会妨碍基于机器学习的生物标志物的稳健识别。在未来的研究中，招募更大的队列，特别是对于这些更加均质的样本，可能会有利。此外，值得注意的是，我们的研究主要关注传统的机器学习算法，而不是深度学习方法，深度学习方法代表了未来研究的另一条潜在探索途径。

结论 

       在这项研究中，即使在对大量已诊断患者进行了广泛的机器学习优化的情况下，也未能找到有信息量的个体级MDD生物标志物。研究人员有必要反思在推进生物精神病学方面的下一步工作。这些步骤应优先考虑提供更准确的个体化预测，以增强对抑郁症患者的治疗和护理。