BrainSCK：通过知识注入和再激活进行大脑结构和认知对齐以诊断脑部疾病

BrainSCK: Brain Structure and Cognition Alignment via Knowledge Injection and Reactivation for Diagnosing Brain Disorders

摘要

背景：
新兴的先进神经影像学研究证据表明，不同脑部疾病（BD）在整个人类生命周期中可能具有共同的神经基础。因此，研究人员旨在创建一个基于神经影像的大规模人群筛查诊断模型，用于多个脑部疾病的识别。现有的模型主要采用迁移学习范式，这些模型基于大规模但与任务关系较弱的外部数据预训练，或者基于健康人群大脑数据预训练，并使用辅助任务（如年龄预测）。前者对人群规模大脑数据中的个体间差异和与BD相关的特征识别较少，而后者则依赖于代理任务与BD任务之间的弱隐式关联。
目的：
本研究提出一种双阶段视觉-语言模型适应策略，通过对外部预训练模型（如BLIP）进行知识注入，来实现不同脑部疾病的准确诊断。该方法通过将基本认知和脑结构特征对齐，旨在在多个BD诊断任务中提高识别准确性。
方法：
首先，利用人类连接组项目（Human Connectome Project）数据，对人口学和心理测量记录进行文本化，构建具有重要认知科学背景的知识注入文本提示。模型旨在学习脑结构图像和认知知识文本之间的对齐关系。然后，我们定制知识激活指令，并进一步调整模型以适应每个BD诊断任务中的认知症状。
结果：
在不同年龄组的三个BD诊断任务中，优于其他现有的最先进方法。该方法展示了一个有前景的、可行的学习范式，可以将大型基础模型适应到认知神经科学和神经病学领域。
代码可在此链接获取：代码地址

方法

Fig. 1. 演示了所提出的知识注入提示和知识激活指令，分别用于模型预训练和下游微调，灵感来源于认知功能、量度和症状之间的概念依赖关系（按颜色编码）。

主要是特征对齐

1. 图像编码器：ViT-g
2. Q-Former （用 BERT-base初始化）
3. 大模型为：BioMedLM

实验结果