论文阅读1：基于脑机接口的海量脑电图数据学习通用表征的大型脑模型（ICLR）

阅读纲要

精读了文章5个内容，摘要部分，引言部分，方法部分，实验部分，结论部分。

摘要部分

        基于EEG信号建模对应任务相关建模，本文参考大型语言模型（LLM）提出一种大量提出的LEM模型，通过大量的脑电数据集，无监督预训练出一个拥有脑电信号感知能力强的大模型（LaBraMs）。在模型基础上针对下游任务进行微调，得到良好的任务表现。主要贡献把所有数据集中脑电信号做分割实现跨数据集学习。用矢量量化神经光谱预测（Vector-quantized neural spectrum prediction）训练语义丰富的神经标记生成器（Semantically rich neural tokenizer），将连续的原始脑电图通道片段编码成紧凑的神经编码。简单来说，通过将原始的、高维度的脑电图数据转换为具有更低维度、更抽象的表示形式，以便更有效地处理和分析脑电信号。训练LaBraMs采用了20个数据集（2500小时的EEG信号），并在异常检测、事件类型分类、情绪识别和步态预测下游任务中做到了SOTA方法。睡眠分期和运动想象未知。

相关内容解释：

Vector-quantized neural spectrum prediction（矢量量化神经光谱预测）：这可能是一种技术，它使用神经网络来预测脑电图的频谱，并采用矢量量化的方法进行处理。矢量量化是一种将连续的数值转换为离散的符号或代码的方法。

Semantically rich neural tokenizer（语义丰富的神经标记生成器）：这是一个神经网络模型，其目的是将原始的脑电图通道片段（可能是连续的数据）转换为紧凑的、具有语义信息的神经码。标记生成器通常用于将输入序列映射到具有更高级别的表示的输出序列。

1 引言部分

介绍了脑电图（EEG）的概念和采样设置，以及EEG的应用：癫痫分类[1]、急性应激检测[2]、睡眠阶段分期[3]、运动想象分类[4]、异常检测[5]、情绪识别[6]、注意力检测[]7]等等。

介绍了相关模型：CNN-->GNN-->RNN-->CNN+RNN。通过对数据集设置这些模型的参数学习脑电图的特征，但是降低了模型泛化性，基于这个提出了EEG的多功能大模型LaBraMs。

预设LaBraMs模型：可处理具有不同通道和长度的脑电数据集，具有通用的脑电数据理解能力。

数据处理方法：将原始脑电信号分割为各个通道片段，目的处理电极和时间长度问题。训练过程中注重于使标记生成器能够理解和表示EEG信号的频谱特征。预训练阶段用自监督学习方法。使用了不同参数大小的三个预训练模型（5.8M，46M，369M），迄今为止BCI领域中最大的模型，并在四种不同类型的下游任务上进行了微调，涵盖了分类和回归两种任务。
贡献总结：

1. 大规模EEG预训练。
2. LaBraM的兼容性和泛化性
3. 脑电图（EEG）表征学习
4. 下游数据集四个任务全面实验得到SOTA方法

2 方法 

LaBraM模型整体框架

 

图中总体架构为neural Transformer

具体方法部分想要的请私聊我， 挺难的。

3 实验

1.数据集 

• TUAB（异常检测）:一个由23个通道组成的脑电图（EEG）数据。2分类
• TUEV（事件类型分类）：TUEG的一个子集，EEG信号包含23个通道，采样频率为256 Hz，被分割成112,491个5秒的样本。6分类

2.模型配置

• LaBraM-Base：参数数量为5.8M
• LaBraMLarge：参数数量为46M
• LaBraM-Huge：参数数量为369M

区别是Transformer编码器的深度和隐藏层的数量

3.实验结果

文章实验结果比对全部用Base

TUAB（异常检测）：

TUEV（事件检测）:

情绪识别和步态检测：

4 结论与展望

神经 Transformer 架构能够有效地学习脑电图信号的时间和空间特征的表示，使其适用于脑电图分析中的各种下游任务。LaBraM 已经在多个下游任务上进行了验证，包括异常检测、事件类型分类、情绪识别和步态预测。

展望：1增加数据；2高效参数调优；3多模态生理信号，图像，语音等纳入模型建立新范式。

参考文献后有段相关工作描述，主要描述了自监督预训练的成果；数据处理后跨数据集训练；脑机接口中的自监督学习方法应用。

LaBraM的具体的预训练分析：the training of a variational autoencoder[8],应该是参考了这篇文章的预训练方法。

超参数设置部分。

1.Hyperparameters for vector-quantized neural spectrum prediction training.

2. Hyperparameters for masked EEG pre-training.

 3.Hyperparameters for downstream fine-tuning.

预训练数据集描述

• BCI Competition IV-1：运动想象2007
• Emobrain：多模态情绪识别2006
• Grasp and Lift EEG Challenge：两分类动作脑电数据集2014
• Inria BCI Challenge：基于P300的拼写时脑电数据集2012
• EEGMotorMovement/ImageryDataset：运动想象2004
• Raw EEG Data：做报告信息整合任务时的脑电数据2020
• Resting State EEG Data：休息时的脑电数据2017
• SEED Series：SEED、SEED-IV、SEED-GER 和 SEED-FRA 等情绪数据集。2015/18/22
• Siena Scalp EEG Database：头皮脑电数据集2020
• SPIS Resting State Dataset：持续注意力反应任务脑电数据2020
• Target Versus Non-Target ：基于P300，玩“大脑入侵者”游戏时脑电数,2019
• TUAR：不同脑电图伪迹用脑电信号注释2021
• TUEP：癫痫患者EEG数据2017
• TUSZ：癫痫患者EEG数据2018
•  TUSL：自动癫痫检测EEG数据2017
• Self-collected EEG Data： ESI NeuroScan System 收集140 名被试者的脑电图数据2023
• SEED-V：情绪识别EEG数据2021
• MoBI：步态检测2018

参考文献：

[1]Poomipat Boonyakitanont, Apiwat Lek-Uthai, Krisnachai Chomtho, and Jitkomut Songsiri. A review of feature extraction and performance evaluation in epileptic seizure detection using EEG. Biomedical Signal Processing and Control, 57:101702, 2020.

[2]Lakhan Dev Sharma, Vijay Kumar Bohat, Maria Habib, Al-Zoubi Ala’M, Hossam Faris, and Ibrahim Aljarah. Evolutionary inspired approach for mental stress detection using EEG signal. Expert systems with applications, 197:116634, 2022.

[3]Khald Ali I Aboalayon, Miad Faezipour, Wafaa S Almuhammadi, and Saeid Moslehpour. Sleep stage classification using EEG signal analysis: a comprehensive survey and new investigation. Entropy, 18(9):272, 2016.

[4]Khald Ali I Aboalayon, Miad Faezipour, Wafaa S Almuhammadi, and Saeid Moslehpour. Sleep stage classification using EEG signal analysis: a comprehensive survey and new investigation. Entropy, 18(9):272, 2016.

[5]SubhrajitRoy, IsabellKiral-Kornek, andStefanHarrer. ChronoNet: Adeeprecurrentneuralnetwork for abnormal EEG identification. In Artificial Intelligence in Medicine: 17th Conference on Artificial Intelligence in Medicine, AIME 2019, Poznan, Poland, June 26–29, 2019, Proceedings 17, pp. 47–56. Springer, 2019.

[6]Nazmi Sofian Suhaimi, James Mountstephens, Jason Teo, et al. EEG-based emotion recognition: A state-of-the-art review of current trends and opportunities. Computational intelligence and neuroscience, 2020, 2020.

[7]Wouter Biesmans, Neetha Das, Tom Francart, and Alexander Bertrand. Auditory-inspired speech envelope extraction methods for improved EEG-based auditory attention detection in a cocktail party scenario. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 25(5): 402–412, 2016.

[8]Diederik P. Kingma and Max Welling. Auto-Encoding Variational Bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.