论文阅读:OntoProtein: Protein Pretraining With Gene Ontology Embedding
1、背景
研究问题:这篇文章要解决的问题是如何在蛋白质预训练模型中有效地融入基因本体(GO)知识,以提升蛋白质表示的学习效果。
研究难点:该问题的研究难点包括:如何将结构化的生物学知识与蛋白质序列数据有效融合,如何在预训练过程中同时优化知识图和蛋白质嵌入,以及如何处理异构信息的融合问题。
相关工作:现有的蛋白质预训练模型(如ESM、ProteinBERT、ProtTrans)虽然在蛋白质表示学习上取得了显著进展,但很少考虑融入知识图谱(KGs)中的丰富结构化知识。已有的知识增强语言模型(如ERNIE、KEPLER)主要关注于文本知识的注入,尚未有研究将基因本体知识直接注入到蛋白质预训练模型中。
2、方法
这篇论文提出了OntoProtein,第一个将外部知识图谱融入蛋白质预训练的通用框架。具体来说,
混合编码器:首先,提出了一个混合编码器来表示蛋白质和GO知识。对于蛋白质编码器,使用了预训练的ProtBert模型