【论文阅读】ProtGPT2 is a deep unsupervised language model for protein design

论文阅读：ProtGPT2 is a deep unsupervised language model for protein design （2022）

1、背景

研究问题：这篇文章要解决的问题是如何利用生成模型进行蛋白质工程，以解决合成生物学、医学和材料科学中的基本问题。具体来说，作者将蛋白质工程视为一个无监督的序列生成问题，以便利用缺乏昂贵结构注释的蛋白质序列的指数增长集。
研究难点：该问题的研究难点包括：获取蛋白质的三维结构信息昂贵且耗时；原始氨基酸序列数据量远大于具有结构注释的序列数据；现有的蛋白质工程实验技术仍然依赖于启发式和随机突变来选择初始序列。
相关工作：最近的研究（如Alley et al., 2019; Rives et al., 2019; Rao et al., 2019）已经开始利用大规模原始蛋白质序列，通过适应自然语言处理（NLP）中的表示学习技术来进行蛋白质性质分类。然而，尚未有尝试将最先进的文本生成方法（如Radford et al., 2019）应用于蛋白质工程。

2、研究方法

这篇论文提出了ProGen，一种用于可控蛋白质生成的条件语言模型。具体来说，

条件语言模型：ProGen是一个12亿参数的条件语言模型，训练在包含2.8亿个蛋白质序列的数据集上，这些序列附带了分类标签，如分类学、功能性和位置信息。通过这些标签，ProGen提供了一种新的蛋白质生成方