Jurio的博客

CAPR是一个基于Codex的自动化论文阅读工具，能够从arXiv/OpenReview抓取论文，通过语义分析筛选出与研究最相关的文献。它采用两阶段处理：脚本负责稳定抓取候选论文，Codex负责深度阅读、评分和生成推荐报告。系统支持网络预检、API限流fallback、中英文Prompt模板等功能，最终输出包含Top10推荐论文及其核心价值、局限性和研究趋势分析的Markdown报告。相比传统关键词订阅，CAPR能更智能地识别跨领域但有启发性的论文，帮助研究者高效获取每日文献精华。

自适应大型语言模型（LLMs）旨在解决传统微调方法的挑战，这些方法通常计算密集且难以处理多样化的任务。本文介绍了Transformer²（Transformer-Squared），一种新颖的自适应框架，通过在推理时选择性地调整权重矩阵的单个奇异分量来实时适应未见过的任务。Transformer²在参数数量较少且效率更高的情况下，持续优于LoRA等常用方法。此外，Transformer²在不同LLM架构和模态（包括视觉语言任务）中表现出色，代表了自适应LLMs的重大进步。

时间序列预测在多领域极为关键，Transformer 虽推进了该领域发展，但有效性尚存争议，有研究表明简单线性模型有时表现更优。本文聚焦于自注意力机制在时间序列预测中的作用，提出仅用交叉注意力的 CATS 架构。它摒弃自注意力，利用交叉注意力并设置未来视野依赖参数为查询及增强参数共享，提升了长期预测精度，还减少了参数和内存使用。多数据集实验显示，CATS 模型均方误差最低且参数更少。

本文提出了Brant，一个用于脑内记录数据（sEEG）的基础模型，**通过预训练学习强大的神经信号表征，提供了一个大规模的现成模型**。Brant在多项下游任务上表现出色，展示了其广泛的泛化能力。模型设计结合时间和频率域的信息，能够捕捉长时间依赖性和空间相关性。实验表明，模型规模增大会提升性能。预训练策略和低资源标签分析验证了其有效性。源代码和预训练权重已公开（**但实际上需要联系作者获取模型code和权重**，使用你的机构邮件联系：[zhangdz@zju.edu.cn]

本文介绍了一个名为DeWave的大脑动态转换为自然语言的新框架。DeWave通过将离散编码序列整合到开放词汇的脑电图（EEG）到文本翻译任务中，解决了现有方法依赖眼动追踪或事件标记来分割脑动态的问题。**DeWave使用量化变分编码器来推导离散编码，并将其与预训练的语言模型对齐**。这种离散编码表示有两个优势：**1）它通过引入文本-EEG对比对齐训练，实现了无需标记的原始波形翻译**；**2）它通过不变离散编码减轻了EEG的个体差异引起的干扰**。

本文提出了一个可重复使用的Transformer模型——**BrainBERT**，用于处理颅内场电位记录（sEEG），将现代表征学习方法引入神经科学。类似于自然语言处理（NLP）和语音识别（ASR），**BrainBERT通过在大规模未标注神经数据上进行无监督预训练**，实现了对复杂概念的高精度解码，并减少了所需数据量。**BrainBERT能够推广至新被试和不同任务，展示了其鲁棒的表征学习能力**。此外，该模型还用于探索脑区的计算特性，表明未来可以通过表征学习从神经数据中解码更多概念，从而深入理解大脑。

本文提出了一种灵活的生物信号编码器架构——BIOsignal Transformer（BIOT），**实现了跨数据集的预训练和下游任务微调，能够应对生物信号格式的多样性和特有挑战，如通道不匹配、样本长度变化和缺失值等问题**。BIOT通过将不同的生物信号“token化”成统一的“句子”结构来解决这些问题，每个通道分别标记为固定长度的片段，片段重组形成长“句子”。每个片段添加了通道嵌入和相对位置嵌入，以保持时空特征。

本文介绍了NeuroLM——用于EEG信号处理的首个通用多任务基础模型。**NeuroLM通过将EEG信号整合到大型语言模型（LLMs）框架中，利用先进的文本对齐神经tokenizer的embeddings、大规模多通道自回归预训练和联合多任务调整来应对基于EEG的脑机接口和医疗保健任务的众多任务**。通过在六个不同的EEG数据集上的广泛实验，展示了模型在多任务学习和推理中的优越性能。

本文提出了一种新的脑机接口技术，使用立体脑电图（sEEG）来解码语音，这是一种侵入性较小的方法。研究者们收集了一个中文单词阅读的sEEG数据集，并开发了Du-IN模型，该模型通过**区域级别的上下文嵌入**来提高语音解码的性能。Du-IN模型在单词分类任务上超越了所有基线模型，**基于区域级别标记的时间建模和自监督的离散码本引导掩码建模等设计对性能有显著贡献**。这种方法基于神经科学发现，利用特定脑区的区域级别表示，适合于侵入性脑建模，并在脑机接口领域展现出神经启发式AI方法的潜力。

Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI 介绍了一种新型的大型脑电图（EEG）模型，名为Large Brain Model（LaBraM），旨在克服传统基于EEG的深度学习模型在脑机接口（BCI）应用中的局限性，如模型规模有限、感知能力和泛化性不足。**LaBraM通过无监督预训练来获得对EEG信号的通用感知能力，然后可以针对不同的下游任务进行微调。**

这项研究探讨了基于文本和基于语音的语言模型在预测大脑活动方面的不同效果。研究发现，当从模型中移除文本、语音和视觉等低层次特征后，基于文本的模型在早期感觉区域的预测能力下降，但在晚期语言区域仍保持较强的预测能力。而基于语音的模型即使在移除这些特征后，也能在早期听觉区域保持强大的预测能力，但在晚期语言区域的预测能力则完全丧失。这表明基于语音的模型可能提供了关于早期听觉区域处理的额外信息，但在模拟晚期语言区域的处理时需谨慎使用。

通过深度神经群体动力学模型实现最先进的性能需要对每个数据集进行广泛的超参数调整。 **AutoLFADS 是一个模型调整框架，可以根据来自各种大脑区域和任务的数据自动生成高性能的自动编码模型，而无需行为或任务信息**。作者在几个恒河猴数据集上证明了其广泛的适用性。

作者引入了 NDT，一种用于神经尖峰活动的并行神经网络架构，并证明它可以在自主动态系统中与 RNN 竞争，同时实现更快的推理速度。

作者提出了一种称为周期性自动编码器（Periodic Autoencoder）的新型神经网络架构，它可以以无监督的方式从大型非结构化运动数据集中学习周期性特征。具体而言，角色的动作被降维分解为多个潜在特征（Latent Embedding），不同特征捕获不同身体部位随时间变化的非线性周期性。同时从Latent Embedding提取的多维相空间可以有效地对不同动作进行聚类并生成相比原始运动空间更好的流形。最后，模型学到的周期性latent可以显着帮助改善许多任务中的神经运动合成，甚至包括舞蹈动作生

Latent Factor Analysis via Dynamical Systems：LFADS (Nature methods 2018)论文阅读笔记

SpatioTemporal Neural Data Transformer (STNDT) 基于NDT的架构，显式地建模群体中单个神经元跨时间和空间的响应，以揭示其潜在的放电率。

【KAN原论文阅读笔记】受Kolmogorov-Arnold表示定理的启发，作者提出Kolmogorov-Arnold Networks（KAN）作为多层感知器（MLPs）的有前途的替代方案。MLP 在节点（“神经元”）上具有固定的激活函数，但 KAN 在边缘（“权重”）上具有可学习的激活函数。KAN 没有线性权重：每个权重参数都被参数化为一个样条线的单变量函数。作者发现，这个看似简单的变化使得 KAN 在准确性和可解释性方面优于 MLP。