【论文笔记】Large Brain Model (LaBraM, ICLR 2024)

最新推荐文章于 2025-04-15 09:27:03 发布
最新推荐文章于 2025-04-15 09:27:03 发布
阅读量3k 收藏 23
点赞数 28
分类专栏： 论文笔记 BCI Deep learning 文章标签： 论文阅读 大数据 人工智能 深度学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43811536/article/details/143954752
版权

在这里插入图片描述

Code: https://github.com/935963004/LaBraM
Data: 无

目录

Abstract

本文介绍了一种新型的大型脑电图（EEG）模型，名为Large Brain Model（LaBraM），旨在克服传统基于EEG的深度学习模型在脑机接口（BCI）应用中的局限性，如模型规模有限、感知能力和泛化性不足。LaBraM通过无监督预训练来获得对EEG信号的通用感知能力，然后可以针对不同的下游任务进行微调。

LaBraM面临的挑战包括EEG数据集规模小、格式差异大、电极数量不匹配、数据样本长度不等、任务设计多样以及信噪比低。为了应对这些挑战，LaBraM通过将EEG信号分割成EEG通道片段，使用向量量化神经谱预测技术训练一个语义丰富的神经tokenizer，将连续的原始EEG通道片段编码成紧凑且离散的神经tokens。然后，通过预测掩蔽EEG通道片段的原始神经tokens来预训练神经Transformer。

LaBraM在约2500小时、来自约20个数据集的多种类型的EEG信号 上进行了预训练，并在多种下游任务上进行了验证，包括异常检测、事件类型分类、情感识别和步态预测。实验结果表明，LaBraM在各自领域的表现超过了所有比较的SOTA（State of the Art）方法。

Introduction

  • 背景：当前的EEG模型缺乏跨任务的学习能力，泛化性较差。
  • 动机：大语言模型（LLMs）的成功表明自监督掩码预训练的方式对于大规模数据应用的潜力，将重建思想应用于预训练神经Transformer可能对下游任务是有效的。
  • 挑战：
    1. 缺乏足够的EEG数据：如何利用大量的未标记EEG数据集？以及多大的数据够用？
    2. 不同的EEG数据集有不同的采集配置：如何处理不同格式的EEG数据以匹配神经Transformer的输入层？
    3. 缺乏有效的EEG表征学习范式：EEG的低信噪比特点，以及如何平衡时间和空间特征？
  • 贡献：
    1. 大规模EEG预训练：在超过2500小时的EEG数据上预训练
    2. 兼容各种EEG配置：LaBraM 是统一的模型，能够在灵活的辅助下处理各种通道和时间长度的 EEG 信号。预训练的 LaBraM 可以适应任何具有不同配置的下游数据集。
    3. 有效的EEG表征学习：神经 Transformer 使该模型能够有效捕获具有不同通道和长度的脑电图信号的时间和空间特征，使其适用于脑电图分析中的各种下游任务。并进一步定义了一个神经密码本（CodeBook），它提供了一种紧凑、通用且有意义的EEG信号表示。
    4. 下游数据集综合实验：作者在 BCI 的四个代表性下游任务上评估了 LaBraM，结果表明在很大程度上超越了所有为特定任务而开发的 SOTA 方法。

Method

在这里插入图片描述

Neural tokenizer training：

在通过掩码预测对 LaBraM 进行预训练之前，需要先将 EEG 标记为离散tokens。这一部分主要基于 Van Den Oord 的 VQVAE 架构实现。

  • EEG数据token化：首先通过一个 tokenizer 模块将EEG根据时间和通道两个维度划分为patch矩阵
  • tokens 的向量量化：基于VQVAE的思想，将上一步得到的patch通过最近邻的方式找到一个预定义的 CodeBook 上的向量来代替这个patch，更新patch矩阵
  • 傅里叶谱预测：重建的目标被设定为EEG信号的傅里叶频谱的频率和相位分布（作者在预实验中发现直接重建EEG信号损失无法收敛，可能是SNR过低导致），作者认为这两种特征揭示了大脑潜在的神经生理活动（存在改进空间，这里的重建目标决定了后续预训练的下游任务的上限）。
  • VQ的预测损失：包含两种预测目标的重建损失，以及 CodeBook 的更新损失
    在这里插入图片描述

Pre-training LaBraM：

  • 模型架构：时序 encoder → 叠加时序和空间 embedding → 大量Transformer模块 → Tokens预测头
  • 掩码输入：同样地划分为patch矩阵，然后随机选取一定比例的patch进行掩蔽，同时为了提高训练效率和内存使用，将随机掩码的对称patch矩阵同时作为输入，也可以起到数据增广的作用。
  • 预测目标：上一步得到的离散tokens。
    在这里插入图片描述

Results

Experimental setup：

  • Pre-training：在超过2500h的EEG数据上训练神经tokenizer和预训练 LaBram
  • Fine-tuning：在四个下游数据集上进行全微调 LaBram

Pre-training result：

在这里插入图片描述

Comparison with SOTA：

表 1 和表 2 展示了最先进的baseline以及LaBraM在 TUAB 和 TUEV 的结果。结果表明，LaBraM-Base 模型在这两项任务的各种评估指标上均优于所有baseline。随着模型参数数量的增加，LaBraM-Huge 模型表现最好。作者认为有了足够的数据量，大规模脑电图模型可以学习更通用的脑电图模式，从而提高脑电图分析中各种下游任务的性能。
在这里插入图片描述

Pre-training with/without downstream datasets：

在这里插入图片描述

如图 4 所示，是否将下游任务数据集纳入模型的预训练过程不会显着影响模型在下游任务上的性能。这表明 LaBraM 模型具有学习通用脑电图表示的能力。

Scaling data size：

在这里插入图片描述

如图所示，随着数据规模的不断扩大，Huge模型的性能呈现出明显的上升趋势。这些结果基本遵循 scaling law，所以作者大胆推断，在数据量至少为一万小时的情况下，Huge 模型将继续表现得更好。

Conclusion

LaBraM是一个通过无监督预训练学习通用embedding的大型脑电图（EEG）模型，能够处理多样化的EEG数据集。LaBraM通过分割EEG信号和使用向量量化神经谱预测来生成丰富的语义tokenizer，并利用神经Transformer架构在大规模数据上预训练学习EEG信号的时空间特征，适用于多种EEG分析任务。在异常检测、事件分类、情感识别和步态预测等任务中，LaBraM的表现超越了当前最先进方法，有望推动EEG深度学习模型的发展。

Related work

  • BCI 中的自监督学习：BrainBERT（Wang 等人，2023）掩蔽立体脑电图 (SEEG) 频谱图的随机部分，并使用 43.6 小时的数据生成原始嵌入。

Appendix

Effectiveness of VQ：

在这里插入图片描述

LaBraM without pre-training：

直接在下游数据集上从头开始训练 LaBraM，无需预训练，性能急剧下降证明了预训练的有用性。
在这里插入图片描述

Discussion

  • Limitations：
    1. 虽然作者收集了有史以来最大的超过2500小时的脑电图数据集，并为BCI训练了有史以来最大的3.69亿参数的模型，但与当今的大型视觉模型和大型语言模型相比，仍然有很大的差距。
    2. LaBraM 需要进行全面微调以适应下游任务，这可能会耗费计算成本和内存成本。
    3. LaBraM 使用单峰脑电图数据进行训练。研究用其他方式训练大型脑电图模型是值得的。
  • Outlook：
    1. 涌现能力：从各种BCI任务中收集更多的脑电数据，并训练更大的脑电模型，看看脑电模型中是否存在类似于大型语言模型的涌现能力
    2. 高效性：利用适配器、即时调优、LoRA等参数高效学习方法，减少微调开销，节省磁盘空间
    3. 多模态：将图像、语言、语音和其他生理信号等其他模态纳入大型脑电图模型训练中以构建新的范式，或将脑电图表示与语义空间中的其他模态对齐，这可能是未来工作的一个有意义且具有挑战性的方向。
创作不易，麻烦点点赞和关注咯！
ICLR 2024丨脑与智能论文汇总
强化学习曾小健
05-27 995
当前基于脑电图（EEG）的深度学习模型通常是针对脑机交互（BCI）中的特定数据集和应用而设计的，限制了模型的规模，从而削弱了它们的感知能力和泛化性。最近，大型语言模型（LLM）在文本处理方面取得了前所未有的成功，促使我们探索大型脑电图模型（LEM）的能力。我们希望LEM能够突破不同任务类型脑电数据集的限制，通过无监督的预训练获得脑电信号的通用感知能力。然后可以针对不同的下游任务对模型进行微调。然而，与文本数据相比，脑电图数据集的体量普遍较小，且格式差异很大。
Large Brain Model文献阅读
Aa980905zjf的博客
09-28 1108
把这个提取到的特征向量（latent vector）通过decoder去还原图像，如果还原效果好就说明提取的特征好，如果还原的不好就利用损失函数去调整encoder，直到输入一张图片，可以经过这些过程还原输入的图片，那就说明encoder训练好了，每次有不同的输入，都可以得到不同的、效果很好的特征向量。其实就相当于是一个encoder，输入的图像经过编码之后得到一个latent vector，这里面存储了图片重要的特征，相当于把输入的图片进行了降维，变成了一个向量。因此，脑电图数据的格式一般不同。
ICLR2024 | 上海交通大学与零唯一思联合开发脑电大模型
脑机接口社区
01-19 2815
如图5所示，训练时间为 500 小时的基本模型的性能超过了训练时间为2500小时的模型在TUAB上的性能，同时接近训练时间为 2500 小时的模型在 TUEV 上性能的 90%以上。在我们自己的模型中，我们观察到随着模型参数数量的增加，LaBraM-Huge模型的表现最好，其次是 LaBraM-Large模型，最后是LaBraM-Base模型。目前基于脑电（EEG）信号的深度学习模型通常是为特定数据集和脑机接口（BCI）应用而设计的，这限制了模型的规模，从而削弱了脑电信号的表征能力和普适性。
LaBraM项目安装与配置指南
最新发布
gitblog_00672的博客
04-15 651
LaBraM项目安装与配置指南 LaBraM ICLR 2024 spotlight 项目地址: https://gitcode.com/gh_mirrors/la/LaBraM ...
LaBraM项目使用和启动教程
gitblog_00484的博客
04-15 874
LaBraM项目使用和启动教程 LaBraM ICLR 2024 spotlight 项目地址: https://gitcode.com/gh_mirrors/la/LaBraM ...
74、馒头谈脑机接口：经济寒冬下的生命引擎
mantoudamahou的博客
01-06 867
在我国，国内推进脑机接口技术的进步和发展，经费都是用于高校，国内做脑电各个方向有名的老师今年都拿到了不少的脑机项目，少的一个项目也有一百多万人民币，比如搭建一个EEGNet模型处理MI数据，做一整套的EEG数据采集、预处理、建模分析这个最简单的项目就高达200w，还有其他的，老师之间分工合作，做不了的找企业，所以无论是从事脑机的企业技术员，还是自己创办脑机公司，都会吃到这部分资金的，而且明年国家投入只会翻倍更大。于非侵入式脑机接口，而日本则侧重非侵入式脑机接口，并推动脑机接口与机器人系统的集。
探索人脑与机器的边界 —— **LaBraM** 大脑模型引领BCI领域新变革
gitblog_00064的博客
06-19 862
探索人脑与机器的边界 —— LaBraM 大脑模型引领BCI领域新变革 去发现同类优质开源项目:https://gitcode.com/ 在神经科学与人工智能的交汇点上，一项革命性的技术正在悄然兴起——LaBraM（Large Brain Model）。这个开源项目，基于ICLR 2024的前沿研究论文，旨在打破传统脑机接口(BCI)的界限，通过大规模的EEG数据学习，解锁大脑信号的通用表示能力，...
EEG2Rep自监督脑电大模型文献阅读
Aa980905zjf的博客
12-08 1189
EEG大模型相关文献阅读分享
论文阅读1：基于脑机接口的海量脑电图数据学习通用表征的大型脑模型（ICLR）
y2079275094的博客
01-17 1535
基于EEG信号建模对应任务相关建模，本文参考大型语言模型（LLM）提出一种大量提出的LEM模型，通过大量的脑电数据集，无监督预训练出一个拥有脑电信号感知能力强的大模型（LaBraMs在模型基础上针对下游任务进行微调，得到良好的任务表现。主要贡献把所有数据集中脑电信号做分割实现跨数据集学习。用矢量量化神经光谱预测（）训练语义丰富的神经标记生成器（），将连续的原始脑电图通道片段编码成紧凑的神经编码。简单来说，通过将原始的、高维度的脑电图数据转换为具有更低维度、更抽象的表示形式，以便更有效地处理和分析脑电信号。
9、EEGNex：可靠的EEG信号解码模型
mantoudamahou的博客
11-07 2496
China水平很高的一篇文章，是莱布尼兹大学、香港中文大学和浙江大学共同发表的，主要做的工作是对2018年的EEGNet模型进行改进。作者对该模型的改进，进行了多种尝试，甚至在原来的EEGNet中加入CBAM注意力机制，但是在文中作者说无效。其中，作者说明有4处改进非常成功，使得EEGNex成为媲美EEGNet的优秀的、先进的、专门处理EEG信号的深度学习轻量级模型。
EEGnet模型讲解PPT.pptx
05-25
EEGNet是为专门一般的脑电图识别任务而设计的通用卷积神经网络。 精心画了三种简单清晰的卷积层操作示意图 模型设计思路和MobileNet很像。
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
深度学习：论文阅读：（ICLR-2021）Vision Transformer
zhe470719的博客
03-29 2531
这里写目录标题论文详情VIT主要思想主要部分数据处理Patch 编码器位置编码分类总结流程缺点 论文详情 名称：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 研究团队：Google Research, Brain Team 原文：原文 参考笔记：笔记1 b站视频笔记 VIT主要思想 将原始图片进行均匀的分成若干个patch，，每个小块可以看做成NLP当中的词，把patch展平成序列，再把分割后的patch
顶会速递 | ICLR 2020录用论文之自然语言处理篇
语言智能技术笔记簿
03-12 5449
人工智能顶会ICLR 2020录用的自然语言处理相关的研究论文已经为大家准备好，欢迎Mark学习！
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
Nature: LLM变得越来越像大脑
AI生成曾小健3
12-23 723
F(s,u) = - log(p(s|m)) + Dkl [ q(Φ|u) || p(Φ|s,m) ] ，式中，m 代表外部客观世界，u 是大脑内部建构的世界模型，s 是感官输入，Φ是m的参数，也是大脑需要推测的导致s 的原因，F 是这一感知过程的自由能。意味着在语言处理过程中，在连续的大脑区域中提取的信息量和类型，与性能最高的 LLM 的连续层提取的信息比低性能的 LLM 更一致。随后，通过从单词嵌入来预测脑神经对单词的反应，这个词嵌入中预测大脑反应的能力，可用来估计LLM与大脑的相似性。
EEG信号提取中常用到的神经网络模型
sxn0121的博客
06-02 1386
综上所述，CNN适用于时空特征提取，RNN和LSTM适用于时序建模和长期依赖，BiLSTM可以同时考虑过去和未来的上下文信息，Transformer则适用于自注意力机制下的序列建模。例如，可以使用CNN进行初始的特征提取，然后将提取的特征序列输入RNN或LSTM进行时序建模和长期依赖关系捕捉。在EEG信号提取中，常用的神经网络模型包括CNN（卷积神经网络）、RNN（循环神经网络）、LSTM（长短期记忆网络）、BiLSTM（双向长短期记忆网络）和Transformer。
华人团队用大模型实现“读心术”：大脑活动直接变文字
python1234_的博客
05-07 1124
NeurIPS收录的一项新研究，让大模型也学会“读心术”了！通过学习脑电波数据，模型成功地把受试者的脑电图信号翻译成了文本。而且整个过程不需要大型设备，只要一块特制的“头巾”就能实现。这项成果名为DeWave，能在不通过侵入式设备和MRI的情况下解读脑电波并翻译成文本。由于用了大模型来读脑，因此报道DeWave的iFLScience也管它叫BrainGPT。DeWave虽然不是最早实现脑电波解码的技术，但是它第一个做到了非侵入且无需MRI的脑电波-文本转换。
ICLR 2024 GNN
01-20
### ICLR 2024中的图神经网络(GNN) 对于ICLR 2024会议中有关GNN的研究动态，虽然具体细节尚未公布，但从以往的趋势可以推测一些可能的方向。考虑到NeurIPS这样的顶级会议已经展示了大量关于图上的机器学习成果[^1]，以及专门针对图结构数据的学习方法如超双曲图神经网络的发展[^3]，预计ICLR 2024也将继续关注这一领域。 #### 预期的论文主题 鉴于先前的工作表明预训练语言模型能够显著减少特定任务所需的标注量并推动少样本和零样本学习的进步[^4]，未来可能会有更多的研究探索如何将这些技术应用于GNN框架内，特别是在处理半监督或无监督场景下的节点分类、链接预测等问题时。此外，随着对复杂关系建模需求的增长，新型架构设计及其理论分析将成为热点之一。 #### 可能举办的研讨会 由于之前提到过不少NeurIPS workshop的内容会在次年的其他会议上重现，因此合理猜测，在ICLR 2024期间也有可能会举办类似的专题讨论活动来探讨最新的研究成果和技术挑战。特别是那些涉及跨学科交叉应用（比如生物信息学、社交网络分析等领域）或者是新兴方向（例如量子计算辅助下的高效算法实现等），都将是潜在的主题范围。 ```python # 示例代码展示了一个简单的GNN模型定义过程 import torch.nn as nn from torch_geometric.nn import GCNConv class SimpleGNN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(SimpleGNN, self).__init__() self.conv1 = GCNConv(input_dim, hidden_dim) self.conv2 = GCNConv(hidden_dim, output_dim) def forward(self, data): x, edge_index = data.x, data.edge_index x = self.conv1(x, edge_index) x = F.relu(x) x = F.dropout(x, training=self.training) x = self.conv2(x, edge_index) return F.log_softmax(x, dim=1) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值