nlp&python | 使用bert提取分子表征（ongoing）

最新推荐文章于 2024-01-08 10:44:50 发布
最新推荐文章于 2024-01-08 10:44:50 发布
阅读量551 收藏 5
点赞数
分类专栏： AIDD | CADD | 化学 | 生物 文章标签： 机器学习 深度学习 化学信息学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43236007/article/details/112623862
版权
本文探讨了如何借鉴BERT在NLP领域的成功经验，将其应用于化学表示学习，特别是SMILES序列。介绍了三个自监督学习任务：Masked Language Modeling、SMILES Equivalence和Physical Chemistry Property Prediction，并阐述了损失函数的计算方法。最后，展示了获取的分子特征向量示例。
摘要由CSDN通过智能技术生成

介绍

BERT在自然语言处理（NLP）领域取得了巨大的成功。使用未经标记的数据集进行训练，可以得到能学会复杂的语言表示形式的大规模模型。那么，我们可以将类似的研究方法应用于化学表示中，尤其是SMILES序列：
在这里插入图片描述

自监督学习任务

在这里插入图片描述
1.Masked language modeling(MASKEDLM)
BERT提出的规范任务，通过训练模型来预测mask的真实身份。使用序列输出和输入的mask之间的交叉熵损失来优化任务。

2.SMILES equivalence (SMILES-EQ)
给定第一个smiles，第二个smiles从

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ASKCOS
关注
专栏目录
订阅专栏
AI：182-利用Python进行自然语言处理（NLP）（BERT与GPT的应用）
一键难忘的博客
06-01 1812
BERT是由Google开发的预训练语言表示模型，其突出特点是双向编码器结构，能够更好地理解上下文信息。BERT可以应用于各种NLP任务，如文本分类、命名实体识别、问答系统等。GPT是由OpenAI提出的生成式预训练转换模型，其核心思想是使用自回归模型生成文本。GPT模型在文本生成、对话系统等领域有着广泛的应用。在本文中，我们深入探讨了如何利用Python进行自然语言处理（NLP），重点介绍了两个备受关注的预训练模型：BERT和GPT。
ACM-BCB2019 | SMILES-BERT：基于大规模无监督预训练的分子属性预测模型
justBeHerHero
11-23 2224
ACM-BCB2019 | SMILES-BERT：基于大规模无监督预训练的分子属性预测模型 原文标题：SMILES-BERT: Large Scale Unsupervised Pre-Training for Molecular Property Prediction
分子和表型表征
06-05
溶血曼海姆氏菌（M. haemolytica）是一种革兰氏阴性细菌，可感染人类和动物。 它作为牛，绵羊和山羊的鼻咽和扁桃体的正常菌群而受到赞誉，肺炎性巴氏杆菌病是全世界范围内山羊最经济的重要传染病之一。 这项研究旨在通过细菌学和分子表征研究溶血支原体的发生率。 从巴格达屠宰的山羊中收集了一百只看起来很健康的野山羊鼻咽拭子，七个肺组织标本和五只鼻粘液拭子。 所有样品均在Blood和MacConky琼脂上培养。 生化测试和EPI20E试剂盒用于鉴定可疑菌落。 利用两个引物16s rRNA和12s rRNA基因通过聚合酶链反应（PCR）技术鉴定了5株（4.46％）溶血支原体，并确诊。与表型测试一致，并通过流行病学研究表现为有效的预防策略提供了依据。
python数据类型可以分子类型_浅谈Python中的数据类型
weixin_33816175的博客
02-10 98
数据类型：float — 浮点数可以精确到小数点后面15位int — 整型可以无限大bool — 非零为true,零为falselist — 列表Float/Int:运算符：／ — 浮点运算除// — 当结果为正数时，取整; 11//5 =2; 11//4 = 2当结果为负数时，向下取整；-11//5=-3; -11//4=-3当分子分母都是float,结果为float型** — 计算幂; 11...
视频教程-Python自然语言处理-BERT模型实战-NLP
weixin_33689005的博客
05-28 1669
Python自然语言处理-BERT模型实战 计算机博士，专注于机器学习与计算...
基于化学反应感知的分子表征学习
白景屹的博客
12-11 3302
目录概述背景概述方法概述方法结构分子编码器化学反应等价性策略训练方法实验结果化学反应预测分子性质预测图编辑距离预测embedding可视化解释具体的化学反应类型总结 概述 背景概述 本篇文章来自"CHEMICAL-REACTION-AWARE MOLECULE REPRESENTATION LEARNING"，送审ICLR2022。 分子表征学习（Molecule representation learning，MRL）旨在将分子嵌入到实向量空间中。现有的基于SMILES（简化分子线性输入系统）或GNN的M
bert的python实现
11-20
该文档主要是bert论文的python代码实现，从github网站上下载来的，有空再仔细看一下
kwx:Python中基于BERT，LDA和TFIDF的关键字提取
03-15
Python中基于BERT，LDA和TFIDF的关键字提取 跳到： ••• kwx是用于基于Google的和多语言关键字提取的工具包。 该软件包提供了一套方法来处理不同语言的文本，然后从创建的语料库中提取和分析关键字（有关各种语言...
Python自然语言处理-BERT实战
10-26
Python自然语言处理-BERT模型实战课程旨在帮助同学们快速掌握当下NLP领域最核心的算法模型BERT的原理构造与应用实例。通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT...
Python库 | bert_embedding-1.0.0.dev1553007461-py3-none-any.whl
02-15
总的来说，`bert_embedding`库是Python开发者用于自然语言处理的一个工具，它简化了BERT模型的使用流程，使开发者能够快速地在项目中应用BERT技术。对于那些涉及大量文本分析的后端应用，这个库无疑是一个强大的助力...
ICLR 2022 under review｜化学反应感知的分子表征学习
DrugAI
12-01 1121
今天给大家介绍一篇关于分子表征学习的文章。分子表征学习（MRL）旨在将分子嵌入到实向量空间中。然而，现有的基于SMILES（简化分子线性输入系统）或GNN（图神经网络）的MRL方法要么以SMILES字符串作为输入，难以编码分子的结构信息，要么过度强调GNN结构的重要性，而忽视了其泛化能力。因此，作者提出使用化学反应来协助学习分子表征，其核心思想在于保持分子在嵌入空间中的化学反应的等价性，即强制让每个化学方程式的反应物嵌入和生成物嵌入的总和相等，该限制在保持嵌入空间的有序性和提高分子嵌入的泛化能力中被证明..
iScience | 大规模表征学习寻找分子间相互作用
DrugAI
08-02 1519
作者 | 夏枫指导 | 刘向荣教授单位 | 厦门大学研究方向 | 知识图谱，药物发现今天给大家介绍的文章是“Learning Representations to Predict Int...
【NLP】 深入浅出解析BERT原理及其表征的内容
hacker_long的专栏
08-06 1264
本篇介绍目前NLP领域里影响力最大的预训练模型BERT。首先，大致介绍了BERT里有什么；接着，介绍了BERT的结构和其预训练的方式；最后，再总结BERT的表征的内容和分...
Deepchem-介绍几种Featurizer
药研猿的博客
05-18 1884
几种Featurizer解读 Deepchem的Featurizer我倾向于翻译成‘特征提取器’。我们都知道化学分子本身不能直接作为机器学习的读入数据，这就需要我们将其结构转变为数字形式。而featurizer可以很方便做到这一点，它可以将化学分子（SMILE格式）转变为长度一致的向量或维度一致的矩阵形式。 为了方便说明，我们需要提前准备好需要进行特征提取的小分子： import deepchem as dc smiles = [ 'O=Cc1ccc(O)c(OC)c1', 'CN1CCC[C
AI for Science第二次打卡特征构建与探索
最新发布
soulermax的博客
01-08 761
是将原始数据转化成更好的表达问题本质的特征，来减少过拟合，并提高模型的性能、泛化能力。简单来说特征工程就是将复杂的原始数据转换为更具代表性的信息，以便机器学习算法更准确地进行预测和决策，目的是获取更好的训练数据特征。eg:以生理性别判别为例，如果以身高为数据特征我们很难得出结果，如果以喉结为特征数据能判断大多数情况，但以染色体的种类为特征时，就能判定所有情况，没有误差。可见特征的选取对模型的性能表现十分重要。特征工程能使得模型的性能得到提升，有时甚至在简单的模型上也能取得不错的效果。
Python数据分析案例18——化学分子数据模型(机器学习分类问题全流程)
weixin_46277779的博客
01-01 4106
使用机器学习的方法对化学分子进行分类，分类问题的机器学习全流程，计算准确率、精确度、召回率和F1值。
用Python绘制分子结构
微小冷的学习笔记
11-06 4382
通过rdkit包绘制分子结构
【综述】分子表示与性质预测中的深度学习方法
qq_45331246的博客
10-09 6361
Drug Discovery Today、分子性质预测综述
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ASKCOS

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值