跟着无神一起读PAPERS 之Day3 能够预测影响蛋白质功能的变异的语言模型

一、前言

欢迎来到跟着无神读PAPERS系列之Day3！

本篇内容选自NeurIPS-2021-language-models-enable-zero-shot-prediction-of-the-effects-of-mutations-on-protein-function。

作者分别来自Facebook的AI实验室；伯克利和纽约大学。 

属于CCFA类，是机器学习和计算神经科学领域的顶级国际学术会议之一。

这篇文章的主要贡献是：发现了使用蛋白质序列训练的语言模型能够务监督地预测其作用机理。

其模型主要架构如下：

二、核心方法

2.1 零次学习

什么是零次学习呢？

零次学习能够是模型识别出没有经过训练的延伸类。

意味着零次学习指的是使用完全没有经过该任务训练的模型，去解决陌生的任务，就是说是个完全的迁移学习任务。

也就是说，模型被训练一次以后，就能用于多个任务，具有通用性，这种特性是语言模型（现在应该叫大语言模型LLMs比较贴切）。

零次学习有个必要条件：预训练的数据需要跟将来延伸到的任务有一定的重合性，毕竟学习到的特征将来需要迁移到这种任务领域。

本研究中，使用的蛋白序列也是将来会进行预测其作用机理的任务上进行使用。

2.2 蛋白语言模型的性能对比

本研究对比了三种无监督蛋白语言模型。

几乎所有模型都是用masked语言模块进行训练。

最后·，选择了MSA转换器，在大型数据库MSAs上训练，然后使用MSA作为输入的推理。

三、 模型的训练

模型在九千八百万条蛋白序列上进行了训练，需要注意的是，这里进行的不是有监督训练。

而是通用型的。

只是用到序列进行训练，没有打标签。

四、 模型的评估

模型选用实验的数据进行评估打分。

模型比目前最先进的几种模型的平均性能高了很多，达到了state-of-art。

五、无监督微调

这里使用了各种冻结参数的方法在微调期间。

六、结果

模型能够预测各种分子基础的蛋白功能

六、意义

这里用到的无监督思想的生物内涵：

蛋白的生物特性能够直接从其结构被学习出来，也就是其结构体现其功能，这样就是为什么这里能够用得到无监督学习的零次学习特性。

七、结语

至此，该文章的核心内容介绍完毕，有疑问可以评论区讨论。

欢迎关注无神一起读Papers。

码字不易，点赞收藏加关注。