通过集成多模态学习方法实现阿尔茨海默症的稳健早期检测

江湖人称麻花滕

于 2024-10-07 20:16:34 发布

阅读量619

点赞数 13

文章标签：学习方法大数据 hadoop spark transformer 深度学习

本文链接：https://blog.csdn.net/m0_59235699/article/details/142745641

版权

论文 Toward Robust Early Detection of Alzheimer’s Disease via an Integrated Multimodal Learning Approach 提出了一种用于早期检测阿尔茨海默症（AD）的多模态学习方法，主要通过整合临床、认知、神经影像和脑电图（EEG）数据来提高诊断的准确性。

摘要

阿尔茨海默症（Alzheimer’s Disease，AD）是一种复杂的神经退行性疾病，其早期诊断通常因症状隐匿和表现多样而面临挑战。传统的单一模态诊断方法由于数据的局限性，往往导致误诊。本文提出了一种先进的多模态分类模型，该模型整合了临床、认知、神经影像和脑电图（EEG）数据，以提升诊断精度。该模型引入了特征标记器和TimesBlock模块，能够捕捉EEG数据中的复杂时间模式。此外，利用跨模态注意力聚合模块（CMAA），有效融合了磁共振成像（MRI）的空间信息和EEG的时间数据，从而显著改善了AD、轻度认知障碍（MCI）和正常认知状态（NC）之间的区分能力。研究还构建了首个包含EEG、MRI和表格数据的AD分类数据集，为未来的研究提供了新方向。

1. 引言

阿尔茨海默症是一种不可逆且进行性的神经退行性疾病，表现为全面的记忆受损、执行功能障碍及性格行为改变。由于老龄化加剧，AD的发病率持续上升，给社会经济、医疗系统、患者及其家庭带来了巨大的挑战。当前的AD诊断由于症状微弱、检测过程漫长且依赖医生经验，容易导致误诊，尤其是在轻度认知障碍阶段。近年来，深度神经网络的进步在AD分类中取得了显著成果，但单模态方法无法完全捕捉AD的复杂性，因此多模态方法成为研究的趋势。

2. 相关工作

之前的研究展示了多模态分类方法在AD诊断中的有效性。例如，Liu等人提出了基于ResNet50的蒙特卡罗集成神经网络，准确率达到90%。Wang等人则引入了图扩散和超图正则化的多模态学习框架，准确率达到了96.48%。Elazab等人综述了使用机器学习和深度学习模型进行AD诊断的进展，特别是多模态数据融合技术。然而，现有方法大多未能充分利用多模态信息，仍有改进空间。

3. 方法

本文提出了一种增强的多模态分类模型，该模型包含三个主要模块：表格特征编码器、时间特征编码器和跨模态聚合编码器。

在这里插入图片描述

所提出的MSTNet的整体框架。MSTNet模型主要由三个部分组成：表格特征编码器、时间特征编码器和跨模态聚合编码器。

3.1 表格特征编码器

在AD的诊断过程中，患者的临床数据和认知测试结果等表格数据提供了宝贵的信息。然而，这些数据的多样性给统一处理带来了挑战。为解决此问题，本文使用特征标记器和基于Transformer的编码架构，专门处理表格数据，提高了多模态模型的诊断准确性。

在这里插入图片描述

(a) 特征标记器将数值和分类特征转换为嵌入向量。 (b) TimesBlock模块对时间序列数据的多周期特征进行二维转换。

3.1.1 特征标记器

特征标记器的作用是将数值特征（如患者的年龄和MMSE评分）和分类特征（如性别和教育水平）转换为嵌入向量。然后这些嵌入向量被输入表格数据编码架构，进行特征提取。

3.1.2 表格编码架构

表格编码架构使用多头自注意力机制和前馈神经网络来处理特征标记器生成的嵌入向量，从而捕捉特征之间的复杂关系。最终输出的嵌入序列通过跨模态注意力与图像和EEG的特征进行聚合，并通过分类层进行预测。

3.2 时间特征编码器

EEG数据包含丰富的时间信息，但同时也容易受到噪声的干扰。本文借鉴Wu等人的TimesBlock模块，通过二维转换来处理EEG的多周期特征，将复杂的时间变化模式分解为周期内和周期间的变化，以提高EEG信号的处理能力。

3.3 跨模态注意力聚合模块（CMAA）

MRI数据提供空间信息，而EEG数据提供时间信息，二者的结合能够提供更全面的分析。本文提出的CMAA模块将处理后的MRI和EEG特征进行融合，以捕捉两者之间的复杂相关性，从而增强多模态任务中的表现。

4. 实验

4.1 数据集与实验细节

本文的实验在自建的ADMC数据集上进行，该数据集包含100名受试者的EEG、MRI和表格数据，平均年龄为72.4岁。数据集分为80个训练样本和20个评估样本。模型在NVIDIA Tesla V100 GPU上运行，使用PyTorch框架，训练时间为24小时。

在这里插入图片描述

在我们自建的ADMC数据集上对所提出的MSTNet进行的对比实验和消融实验。

4.2 对比实验

本文对比了MSTNet与多种先进的单模态和多模态模型，结果表明MSTNet在精度、召回率、F1值等多个指标上均有显著提升。例如，与表现最好的单模态模型相比，MSTNet的F1值提升了0.79%，与最好的多模态模型相比，F1值提升了4.17%。

4.3 消融研究

为了验证各模块对模型性能的贡献，本文进行了消融实验，移除了DenseBlock、TimesBlock、CMAA模块和特征偏置，分别评估了它们对性能的影响。结果显示，移除任一模块都会导致模型性能的显著下降，进一步验证了这些模块在MSTNet中的重要性。

5. 结论

本文提出了一种针对阿尔茨海默症早期诊断的多模态分类模型，该模型克服了传统单模态方法的局限性，通过整合EEG、MRI和表格数据提高了分类精度。实验表明，所提出的MSTNet模型在AD、MCI和NC分类任务中表现出色。通过多模态数据的有效融合，本文的方法为神经退行性疾病的分类提供了重要的研究进展。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述