【模型复现】零样本预测文本分类模型——ESM 快速复现模型

ESM

快速复现教程

01 镜像详情

镜像简介：

这篇论文《Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences》 .是2019年2月的文章，发布在biorxiv上。代码中包括来自 Facebook AI Research 的 Transformer 蛋白质语言模型的代码和预训练权重，包括我们最先进的 ESM-1b 和 MSA Transformer。并且论文中介绍了 Transformer 蛋白质语言模型。介绍了一个新的蛋白质语言模型ESM-1v，它具有与目前最先进的突变预测模型相媲美的零样本预测的能力，说明了使用大量多样的蛋白序列数据训练的语言模型可以在无需监督式学习的情况下预测蛋白功能的实验测量结果。模型在零样本场景的泛化说明了大型预训练语言模型捕获领域知识的潜力，这可能有助于生成新的功能蛋白。 

应用场景：文本分类、文本匹配、文本生成

论文地址：

https://www.biorxiv.org/content/10.1101/622803v4

02 平台环境准备