【论文阅读】OntoProtein: Protein Pretraining With Gene Ontology Embedding

已于 2024-08-26 21:55:55 修改
阅读量427 收藏 9
点赞数 4
文章标签： 论文阅读 embedding
于 2024-08-23 09:55:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gyx1549624673/article/details/141357400
版权

论文阅读：OntoProtein: Protein Pretraining With Gene Ontology Embedding

1、背景

研究问题：这篇文章要解决的问题是如何在蛋白质预训练模型中有效地融入基因本体（GO）知识，以提升蛋白质表示的学习效果。
研究难点：该问题的研究难点包括：如何将结构化的生物学知识与蛋白质序列数据有效融合，如何在预训练过程中同时优化知识图和蛋白质嵌入，以及如何处理异构信息的融合问题。
相关工作：现有的蛋白质预训练模型（如ESM、ProteinBERT、ProtTrans）虽然在蛋白质表示学习上取得了显著进展，但很少考虑融入知识图谱（KGs）中的丰富结构化知识。已有的知识增强语言模型（如ERNIE、KEPLER）主要关注于文本知识的注入，尚未有研究将基因本体知识直接注入到蛋白质预训练模型中。
在这里插入图片描述

2、方法

这篇论文提出了OntoProtein，第一个将外部知识图谱融入蛋白质预训练的通用框架。具体来说，

混合编码器：首先，提出了一个混合编码器来表示蛋白质和GO知识。对于蛋白质编码器，使用了预训练的ProtBert模型࿰

最低0.47元/天 解锁文章
GUANYX~
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LinkBERT: Pretraining Language Models with Document Links 论文阅读
ZhenL9911的博客
05-30 328
作者发现在目前的LM（语言模型）中，预训练阶段都只能学习到一篇文章的知识，而不能获得跨文档的依赖知识。基于这个问题作者提出了LinkBERT模型，该模型对多跳推理和小样本QA领域上效果很好。
DETReg: Unsupervised Pretraining with Region Priors for Object Detection (2021)
qq_37297763的博客
10-26 2934
1. 出处 2021 CVPR 貌似没中，我在谷歌学术和微软学术上都没搜到 2. 问题 已有的自监督方法不是专门为了检测中的一个重要任务——定位物体而设计的。 大多数已有的自监督方法只学习检测网络的部分结构，通常只是检测器的子网络，比如ResNet，只学习backbone对于检测模型是远远不够的。 3. 解决方案 提出了一个使用Region priors的Transformer进行目标检测的无监督预训练方法，叫作DETReg。作者受目标检测两个任务（分类和定位）的启发，合并自监督中两个互补的信号。 对于目
论文浅尝 - ICLR2022 | OntoProtein：融入基因本体知识的蛋白质预训练
开放知识图谱
03-23 605
论文题目：OntoProtein: Protein Pretraining With Gene Ontology Embedding本文作者：张宁豫（浙江大学）、毕祯（浙江大学）、梁孝转（浙江大学）、程思源（浙江大学）、洪浩森（浙江大学）、邓淑敏（浙江大学）、连佳长（浙江大学）、张强（浙江大学）、陈华钧（浙江大学）发表会议：ICLR 2022论文链接：https://ar...
论文解读：(BEIT-3)Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
weixin_50917576的博客
04-25 1478
语言、视觉和多模态预训练的大融合正在出现。在这项工作中，我们介绍了一个通用的多模态基础模型BEIT-3，它在视觉和视觉语言任务上实现了最先进的迁移性能。具体来说，我们从主干架构、预训练任务和模型扩展三个方面推进了大收敛。我们介绍了用于通用建模的多路Transformers，其中模块化体系结构支持深度融合和特定于模态的编码。基于共享主干，我们以统一的方式对图像(英语)、文本(英语)和图像-文本对(“平行句”)执行掩码“语言”建模。
文献阅读：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
codename_cys的博客
10-23 1235
文献阅读：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
LinkBERT: Pretraining Language Models with Document Links 论文总结
yingdajun的博客
03-31 2371
LinkBERT: Pretraining Language Models with Document Links Link BERT：带有文档链接的预训练语言模型 源码位置: https://github.com/michiyasunaga/LinkBERT 摘要 语言模型（LM）预训练可以从文本语料库中学习各种知识，帮助下游任务。然而，现有的方法（如BERT）对单个文档建模，并且不能捕获跨文档的依赖关系或知识。在这项工作中，我们提出了LinkBERT，这是一种LM预训练方法，利用文档之间的链接，例如超链
【文献阅读】ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information
九筒的博客
03-16 1274
Abstract 最近的中文预训练模型忽略了中文特有的两个重要方面：字形和拼音，它们携带重要的句法和语义信息，用于语言理解 我们提出了 ChineseBERT，它将汉字的字形和拼音信息结合到语言模型预训练中 字形：汉字的不同字体 字音：汉语拼音（处理多音字） Introduction 由于预训练模型最初是为英语设计的,因此在当前的大规模预训练中缺少两个特定于中文的重要方面：基于字形的信息和基于拼音的信息 对于前者，使中文与英语、德语等语言区分开来的一个关键方面是汉语是一种表意语言。 字符的语标对语义信息进行
论文阅读：《Pretraining-Based Natural Language Generation for Text Summarization》
jingfudu1538的博客
03-28 2017
论文地址：https://arxiv.org/abs/1902.09243 简介 该论文自称是首个将BERT应用在文本生成任务上的文章，论文讲解的非常的清晰详细，模型的框架依然使用经典的encoder-decoder形式，encoder层使用了BERT，生成句子向量，decoder层思想比较新颖，分为两步，第一步先使用transformer生成一个基础文摘，第二步将这个句子的每个词都做一次ma...
[XLNet]论文解读：XLNet:Generalized Autoregressive Pretraining for Language Understanding
bigcrab的博客
12-10 1049
XLNet主要就是两个东西，一个是Permutation Language Modeling，一个是transformer-xl；感觉性能相对于roberta也没提升多少，这个模型的架构应该是不太行；
51-13 多模态论文串讲—BEiTv3,Image as a Foreign Language:BEiT Pretraining for All Vision and Vision-Lan论文精读
AIgraphX
01-13 1436
BEIT-3的核心思想是将图像建模为一种语言，这样我们就可以对图像、文本以及图像-文本对进行统一的maskmodeling。Multi-way transformer模型可以有效地完成不同的视觉和视觉语言任务，使其成为通用建模的一个有效选择。同时，本文也对多模态大模型的发展作了一个简单的总结。
【文献阅读】StyleBERT: Chinese pretraining by font style information
九筒的博客
03-23 1391
Abstract 因此在本文中，我们提出了中文预训练语言模型 StyleBERT，它结合了以下嵌入信息来增强语言模型的 savvy，例如单词、拼音、五笔和chaizi（拆字）。 Introduction 大规模预训练模型BERT 文本分类的应用 Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks, 2019. Chi Sun, Xipeng Qiu, Yige Xu
BEVT: BERT Pretraining of Video Transformers –2022cvpr
07-27
C知道: 对于您提到的"BEVT: BERT Pretraining of Video Transformers –2022cvpr"，这似乎是一个标题或者论文的引用。根据引用的信息，它似乎是在2022年的cvpr（计算机视觉与模式识别大会）上介绍的一个名为"BEVT"的...
【论文阅读】基于 Voronoi 的无向点集变分重建
WoooChi的博客
08-25 716
Voronoi-based Variational Reconstruction of Unoriented Point Sets 部分翻译
【论文阅读04】端到端目标检测:DETR模型
weixin_45037690的博客
08-23 687
2、提出一种全新的基于集合的损失函数：通过二分图匹配的方法强制模型输出一组独一无二的预测框，每个物体只会产生一个预测框，这样就将目标检测问题直接转换为集合预测的问题，所以才不用nms，达到端到端的效果；4、loss ：二分图匹配，计算100个预测的框和2个GT框的matching loss，决定100个预测框哪两个是独一无二对应到红黄色的GT框，匹配的框去算目标检测的loss。损失矩阵的值应该放些什么？基于集合的目标函数怎么做，作者如何通过二分图匹配把预测的框和GT框连接在一起，算得目标函数。
【论文阅读】具有拓扑保证的Marching Cubes案例的高效实现
WoooChi的博客
08-26 434
Efficient Implementation of Marching Cubes' Cases with Topological Guarantees 部分翻译
【论文阅读】YOLOv10: Real-Time End-to-End Object Detection
最新发布
qq_42591591的博客
08-26 656
在过去的几年里，由于在计算成本和检测性能之间取得了有效的平衡，YOLOs已经成为实时目标检测领域的主导范式。研究人员已经对yolo的架构设计、优化目标、数据增强策略等进行了探索，并取得了显著进展。然而，对非最大抑制(NMS)的后处理依赖阻碍了yolo的端到端部署，并对推理延迟产生不利影响。此外，YOLOs中各部件的设计缺乏全面彻底的检查，导致计算冗余明显，限制了模型的能力。它提供了次优的效率，以及相当大的性能改进潜力。在这项工作中，我们的目标是从后处理和模型架构两个方面进一步推进YOLOs的性能效率边界。
【论文阅读】ColabFold: making protein folding accessible to all
GUANYX的博客
08-22 465
论文阅读：ColabFold: making protein folding accessible to al （2022）
论文阅读：MonoScene: Monocular 3D Semantic Scene Completion
fishfuck的博客
08-22 1196
MonoScene提出了一个3D语义场景完成（SSC）框架，其中场景的密集几何形状和语义是从单个单目 RGB 图像中推断出来的。与SC文献不同，我们依靠2.5或3D输入，解决了2D到3D场景重建的复杂问题，同时联合推断其语义。我们的框架依赖于连续的2D和3D UNets，通过受光学启发的新型2D 3D特征投影来连接，并在强制执行空间语义一致性之前引入3D上下文关系。除了建筑贡献之外，我们还介绍了新颖的全局场景和local frustums 损失。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值