DNABERT: pre-trained Bidirectional Encoder Representations from Transformers model for DNA-language

背景

在基因组研究中解密非编码DNA的语言是一个基础且复杂的问题。非编码DNA区域虽然不编码蛋白质，但在基因调控中扮演着至关重要的角色。基因调控代码由于存在多义性和远距离的语义关系而显得高度复杂，这对传统的信息学方法来说是一个挑战，尤其是在数据稀缺的情形下。

挑战

尽管大型语言模型如BERT和GPT在文本处理领域取得了巨大成功，但它们对于处理非编码DNA序列的能力还未被充分开发。此外，这些模型的大规模训练需求也限制了它们在基因组学研究中的应用。