BioMamba:利用Mamba的预训练生物医学语言表示模型

BioMamba: A Pre-trained Biomedical Language Representation Model Leveraging Mamba

https://github.com/LeoYML/BioMamba

https://arxiv.org/abs/2408.02600

在生物学领域的自然语言处理（NLP）中，模型对于解释复杂的生物医学文献至关重要。然而，传统模型在处理这一特定领域中的复杂语言时常遇到困难。本文介绍了一种名为BioMamba的预训练模型，专门设计用于挖掘生物医学文本。BioMamba基于Mamba架构，并经过大量生物医学文献的预训练。本文进行了实证研究，结果显示BioMamba在各种生物医学任务上表现明显优于BioBERT和通用领域的Mamba等模型。例如，在BioASQ测试集上使用BioMamba可以将困惑度降低100倍、交叉熵损失降低4倍。本文概述了该模型的架构、预训练过程和微调技术，并发布了代码和训练模型以促进进一步研究工作。

BioMamba: A Pre-trained Biomedical Language Representation Model Leveraging Mamba

Introduction

在生物医学领域，自然语言处理（NLP）的进展依赖于模型对复杂生物医学文献的理解能力。传统模型在处理该领域复杂且特定领域的语言时常常遇到困难。为了应对这一挑战，我们提出了BioMamba，一个专为生物医学文本挖掘设计的预训练模型。BioMamba基于Mamba架构，并在广泛的生物医学文献语料库上进行预训练。通过实证研究表明，BioMamba在多种生物医学任务上显著优于BioBERT和其他通用领域的模型，如Mamba。例如，在BioASQ测试集上，BioMamba实现了100倍的困惑度降低和4倍的交叉熵损失降低。

背景与动机

近年来，NLP领域取得了显著进展，特别是在预训练模型如BERT和GPT的推动下。BERT利用Transformer编码器架构考虑句子中单词的双向上下文，从而生成更准确和细致的语言表示。然而，这些基于Transformer的模型在处理长序列时面临计算效率低下的问题，因为它们的复杂度与序列长度的平方成正比。为了克服这些限制，Mamba模型引入了结构化状态空间模型（SSMs），其参数是输入的函数，从而在序列长度上提供线性复杂度，使其更适合处理长序列。

随着生物医学文献的指数级增长，开发高效且准确的文本挖掘工具以提取有价值的信息变得至关重要。传统模型在理解生物医学文本中复杂且特定领域的语言时存在困难。因此，迫切需要能够有效处理生物医学文本挖掘任务的先进模型，特别是那些能够从未标记文本语料库中学习的模型。

Method

Mamba模型

Mamba模型是一种最先进的序列模型，旨在解决传统Transformer在处理长序列时的计算效率低下问题。传统Transformer严重依赖注意力机制，虽然功能强大，但具有序列长度平方复杂度的缺点，这使得它们对长序列的计算代价高昂且内存密集。为了克服这些限制，Mamba利用结构化状态空间模型（SSMs），其参数是输入的函数，从而以线性复杂度处理序列长度。

SSMs提供了一种引人注目的替代注意力机制的方法，通过为序列建模提供线性复杂度的框架。这使得它们更适合处理长序列，并且非常适合基于内容的推理，这对于离散模态（如语言）至关重要。Mamba的核心创新在于它能够根据当前标记沿序列长度维度选择性地传播或忘记信息。这是通过使SSM参数动态化并依赖于输入序列来实现的。

BioMamba的预训练

预训练是从大量未标记数据中学习有意义表示的关键技术。此初始训练阶段使模型能够捕获数据中的一般模式、结构和特征，而无需标记示例。预训练模型提供了一个热启动，可以针对特定的下游任务进行微调。

在本文中，BioMamba使用Mamba-130m模型的权重进行初始化。预训练过程涉及在包含PubMed摘要的大型生物医学文本语料库上进一步训练。尽管通用的Mamba模型在其初始训练过程中可能已经遇到了一些生物医学数据，但此类数据的比例通常非常小。因此，在目标生物医学语料库上进一步预训练对于增强模型捕获特定领域模式和术语的能力至关重要。

BioMamba的预训练目标与标准自回归模型相同，即下一个标记预测。该目标被表述为：

L=−t=1∑T​logP(xt​∣x<t​;θ)

其中，xt​ 是序列中的第t个标记，x<t​ 表示xt​之前的所有标记，θ 表示模型参数。此目标允许模型学习在给定其先前上下文的情况下每个标记的可能性，从而捕获生物医学文本语料库中的序列依赖性。

BioMamba的微调

在预训练之后，BioMamba可以根据特定的下游任务进行微调。微调是一个使用少量标记数据调整模型参数以优化特定任务性能的过程。在本研究中，BioMamba被微调用于生物医学问答等任务，展示了其在生物医学文本挖掘中的强大能力。

Results

数据集

为了评估BioMamba的性能，我们在多个生物医学NLP任务上进行了实验，包括BioASQ问答数据集和PubMed摘要数据集。这些数据集涵盖了生物医学领域的各种任务，从问答到文本分类。

实验设置

我们将BioMamba与现有方法（如BioBERT、BioGPT和通用Mamba）进行了比较。实验使用相同的超参数和训练设置，以确保公平比较。我们使用困惑度和交叉熵损失作为评估指标，以衡量模型在预测文本序列时的准确性和不确定性。

实验结果

实验结果表明，BioMamba在多个生物医学NLP任务上显著优于现有方法。具体而言，在BioASQ测试集上，BioMamba实现了100倍的困惑度降低和4倍的交叉熵损失降低。这些结果表明，BioMamba在捕获生物医学文本中的复杂依赖性和领域特定术语方面表现出