DNABERT: pre-trained Bidirectional Encoder Representations from Transformers model for DNA-language

背景

在基因组研究中解密非编码DNA的语言是一个基础且复杂的问题。非编码DNA区域虽然不编码蛋白质，但在基因调控中扮演着至关重要的角色。基因调控代码由于存在多义性和远距离的语义关系而显得高度复杂，这对传统的信息学方法来说是一个挑战，尤其是在数据稀缺的情形下。

挑战

尽管大型语言模型如BERT和GPT在文本处理领域取得了巨大成功，但它们对于处理非编码DNA序列的能力还未被充分开发。此外，这些模型的大规模训练需求也限制了它们在基因组学研究中的应用。

方法

为了克服这些挑战，这篇论文提出了DNABERT，这是一种新型的预训练双向编码器表示模型，专为基因组DNA序列设计。DNABERT通过捕获上下游核苷酸环境的全局和可转移理解，来增强对基因组DNA序列的解读能力。

模型输入：将序列转化成k-mer的token表示作为输入，token还包含一个CLS标记（表示整个句子含义的标记）、一个SEP标记和MASK token。通过直接非重叠分裂和随机抽样从人类基因组生成训练数据，序列长度在5-510之间。

网络结构：

在预训练阶段，DNABERT模型首先通过将每个DNA序列的标记转换为数值向量，进而将序列转化为矩阵M。接着，模型采用多头自注意力机制对矩阵M进行处理，通过线性变换对上下文信息进行捕获和调整，完成一层网络的传播过程。通过反复叠加这样的网络层，模型能够为BERT的预训练任务提供强大的特征提取能力。在模型的预训练与微调环节中，通过省略BERT原始架构中的下一句预测任务，并调整序列处理长度的设置，以适应DNA序列中k个连续标记可能的组合。此外，预训练过程中引入了一个掩码机制，随机掩盖序列中的15%标记并对它们进行预测，这一步骤通过计算交叉熵损失来进行模型的训练和优化。通过这种方式，DNABERT模型能够在预训练过程中学习到DNA序列的深层语义信息，并在微调阶段针对特定的生物学问题进行调整和优化，从而提高模型对基因组学数据的处理能力和准确性。

结果

DNABERT在多个基因组学预测任务上展现出了优越的性能，包括启动子预测、剪接位点识别和转录因子结合位点的定位。模型不仅在准确性上超越了现有的基线方法，而且在解释性和效率方面也显示出了显著的改进。验证了模型在处理复杂基因组序列时的高效性和准确性。

总结

DNABERT通过引入预训练的双向编码器表示模型，为基因组学研究提供了一个强大的新工具。它的成功不仅在于其卓越的性能，还在于它能够为科研人员提供一个灵活且高效的方式来解析和理解基因组数据。随着计算生物学和基因组学领域的不断发展，DNABERT及其未来的改进版本将继续在解密生命复杂性方面发挥关键作用。