Bioinformatics | 化学反应增强分子表征图学习

今天给大家分享一篇发表在Bioinsformatics上的论文:“Chemical reaction enhanced graph learning for molecule representation”。论文提出了一种新的反应增强图学习(Reaction-enhanced Graph Learning, RXGL)框架用于MRL。该框架利用化学反应作为领域知识,构建反应感知图,进行反应感知图学习,将反应级别的关系到分子建模中,之后在反应产物预测、反应分类、分子属性预测任务上进行了实验,取得了先进的性能。

介绍

分子表征学习(Molecule Representation Learning,MRL)技术对于将机器学习与生物和化学科学结合至关重要。它通过将分子编码为低维向量,保留了分子信息,使得这些向量可以作为下游应用(例如产物预测、反应分类和分子属性预测)的特征。当前的方法主要依赖于分子的内在信息来学习分子表示,但它们通常忽略了有效地将领域知识整合到分子表征学习中。这些方法要么使用基于SMILES字符串的方法,要么将分子拓扑结构视为图,并使用图神经网络(GNNs)来建模分子,但这些方法通常只关注分子内部信息来设计模型,而忽视了领域知识的高效整合。鉴于现有方法的局限性,论文提出了一种新的反应增强图学习(Reaction-enhanced Graph Learning, RXGL)框架,用于MRL。该框架利用化学反应作为领域知识,其中一个模块使用图神经网络来捕获分子结构,另一个模块构建反应感知图,并设计了一个新的图注意力网络来整合反应级别的关系到分子建模中。

方法

构建反应感知图

首先处理数据,在反应集合中,对于每个反应,在反应物与产物之间形成一条边,由此构建出反应感知图。

模型框架

如图所示,RXGL模型由反应物方向、产物方向两个方向组成,每个方向都包含4部分,分别是:分子图学习、反应感知图学习、基于反应的关系学习、对比学习。两个方向的流程相同,本文将以反应物方向为例进行介绍。

分子图学习

为了描述原子的初始特征,使用了4种原子属性:元素类型、电荷、芳环存在、氢原子数目,将分子图输入图神经网络中,聚合邻居节点信息来更新节点特征,之后经过池化得到分子图表示,此部分是传统的学习方法。公式定义如下,通过堆叠多层GNN最终得到分子图表示。

反应感知图学习

对每一个分子,使用官能团信息来表示分子的特征。将反应物的官能团特征经过嵌入操作后相加得到反应物表示,将产物的官能团特征经过嵌入操作后相加得到产物表示,反应物表示与产物表示相加可以得到反应上下文表示(图中)。反应物本身的官能团特征表示为,邻居b、c的表示为、,将反应物表示、反应上下文表示、邻居表示进行相乘操作,再经过Softmax函数得到注意力分数,公式定义如下,之后,将注意力分数与邻居表示相乘,加上反应物表示得到更新后的反应物表示,通过堆叠多次该操作,将最终的表征作为反应级表征。连接两种表征再使用一个线性层处理得到分子的最终融合表征。

基于反应的关系学习

论文假设存在某个向量使等式成立,其中,接着,两种表示进行元素乘积后,通过一个线性转换矩阵K得到注意力向量,将该向量乘上一个Memory矩阵M得到预测,其中,Memory矩阵可以被解释为概念性构建块的存储,这些概念性构建块可以用来描述反应物和产物之间的关系。经过关系建模后,为反应物-产物对定义以下分数函数,为了优化,在小批量反应数据中,将匹配的反应物-产物对识别为正例对,旨在最小化它们的嵌入差异,而不匹配的对认为是负例对,目的是最大化它们的嵌入差异,其中且。

对比学习

将反应物的分子图表征和反应级表征作为输入,计算余弦相似度后求对比损失,产物进行同样的操作得到损失函数,相加得到对比损失。

训练目标

模型的最终的优化目标是反应关系学习损失和对比损失的加权和,

其中是模型参数,和分别是对比损失的权重和L2正则化。

实验

下游任务

论文中介绍了3种任务,分别是:产物预测、反应分类、分子属性预测。

对于产物预测任务,使用分数函数评估反应物与每个产物得到预测结果,在USPTO-15K和USPTO-50K数据集上的实验结果如下,

对于反应分类任务,连接模型为反应物和产物生成的嵌入再输入进MLP得到预测结果,实验结果如下,

对于分子属性预测任务,将分子图学习模块的输出与官能团嵌入连接,输入逻辑回归模型,得到预测结果,实验结果如下,结果显示,模型在这些任务上获得了优秀的性能,表明学习的分子表示有效地转移到分子相关的任务中。

嵌入分析

使用t-SNE方法可视化BBBP数据集中分子的嵌入。发现嵌入空间能够根据分子的渗透性、分子大小和羟基官能团数量等属性进行一定程度的区分。论文分析了化学反应中反应物和产物之间学习到的关系嵌入,发现具有相似键和环数量变化的反应对之间具有更高的余弦相似度。

结论

论文提出了RXGL模型,使用反应作为领域知识进行分子表征学习,RXGL集成了分子图学习和反应感知图学习模块来建模分子表示,使用基于反应的关系的学习任务和对比学习任务来增强分子表示。在一系列下游任务中展现出色的性能,在未来可以考虑将立体化学信息纳入RXGL,提高分子表征的准确性和使用性。

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。

在这里插入图片描述
在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
img

在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)

在这里插入图片描述
👉学会后的收获:👈
基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值