Large language models in bioinformatics: applications and perspectives

本文是LLM系列文章，针对《Large language models in bioinformatics: applications and perspectives》的翻译。

摘要

大型语言模型（LLM）是一类基于深度学习的人工智能模型，在各种任务中都有很好的性能，尤其是在自然语言处理（NLP）中。大型语言模型通常由具有大量参数的人工神经网络组成，使用自监督或半监督学习在大量未标记输入上进行训练。然而，他们解决生物信息学问题的潜力甚至可能超过他们对人类语言建模的熟练程度。在这篇综述中，我们将总结在自然语言处理中使用的突出的大语言模型，如BERT和GPT，并重点探索不同组学水平的大语言模型在生物信息学中的应用，主要包括大语言模型在基因组学、转录组学、蛋白质组学、药物发现和单细胞分析中的应用。最后，本文总结了大型语言模型在解决生物信息学问题方面的潜力和前景。

1 引言

2 自然语言处理中的大语言模型

3 大型语言模型在生物信息学中的应用

4 结论

经过预训练的大型语言模型已被用于多种生物学任务。在这篇综述中，我们讨论了LLM在基因组学、转录组学、蛋白质组学、单细胞分析和药物发现中的应用。如上所述，LLM可以学习DNA和RNA测序模式，以预测基于DNA和RNA的修饰和调节。LLM可以使用蛋白质进行预训练，以实现蛋白质结构预测、蛋白质生成、蛋白质功能注释和蛋白质相互作用预测。LLM可以从scRNA-seq和scMulti组学数据中学习细胞和基因嵌入，以注释细胞类型、整合数据集和预测基因相关功能分析。LLM可以被训练来预测分子特性或基于分子支架和特定的分子特性生成分子