MolFormer分子预训练模型

最新推荐文章于 2024-06-13 23:59:29 发布
最新推荐文章于 2024-06-13 23:59:29 发布
阅读量213 收藏 3
点赞数 2
分类专栏： 论文笔记 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52038588/article/details/134168390
版权

Large-scale chemical language representations capture molecular structure and properties（2022，NMI）

和原本transformer encoder的不同：

  1. 采用linear attention mechanism
  2. rotary positional embedding

模型

transformer encoder（BERT）

输入

构建好词汇表，分词
根据代码，分词用的是bos，eos，pad，mask（不是cls）

SMILES序列

输出

第一个是BOS处理后的feature
最后一个是EOS的feature

使用

用的是最后一层输出的所有向量的平均值而不是BOS

注意力可视化：选的是中间层
请添加图片描述请添加图片描述
注意力图太noisy了

B1CK
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Large-Scale Chemical Language Representations Capture Molecular Structure and Properties
qq_41200212的博客
02-02 211
预测化学分子的财产在许多应用中都非常重要，包括药物发现和材料设计。基于机器学习的模型有望实现比当前最先进的技术（如密度泛函理论计算或湿实验室实验）更准确、更快的分子性质预测。各种有监督的机器学习模型，包括图形神经网络，在分子性质预测任务中表现出了很好的性能。然而，广阔的化学空间和有限的属性标签使监督学习具有挑战性，需要学习通用的分子表示。最近，在大型未标记语料库上预训练的基于无监督变换器的语言模型在许多下游自然语言处理任务中产生了最先进的结果。受这一发展的启发，提出了编码器模型molformer
【综述】分子预训练模型综述
qq_45331246的博客
11-15 2434
分子预训练综述
【AI视野·今日NLP 自然语言处理论文速览 第十期】Fri, 18 Jun 2021
TomRen
06-21 481
AI视野·今日CS.NLP 自然语言处理论文速览 Fri, 18 Jun 2021 Totally 32 papers ????上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study Authors Rahul Nadkarni, David Wadden, Iz Bel
分子性质预测预训练模型 + code使用方法
简单记录生活、学习
12-14 2269
Pre-train model
IJCAI2023 | A Systematic Survey of Chemical Pre-trained Models（化学小分子预训练模型综述）
justBeHerHero
05-03 1654
IJCAI2023 | A Systematic Survey of Chemical Pre-trained Models（化学小分子预训练模型综述）
【综述】化学预训练模型
cziun的博客
07-23 386
从零开始训练深度神经网络（DNNs）通常需要大量的标记分子。解决→→→分子预训练模型（Chemical Pre-trained Models, CPMs），即DNN使用大规模的未标记分子数据库进行预先训练，然后对特定的下游任务进行微调。首先，强调了从头开始训练分子表示模型来激励CPM研究的局限性。接下来，从几个关键的角度系统地回顾了这一主题的最新进展，包括分子描述符、编码器架构、预训练策略和应用。最后，强调了未来研究面临的挑战和有希望的途径，为机器学习和科学界提供了有用的资源。
探索化学界的深度学习革命：MoLFormer
gitblog_00028的博客
06-05 218
探索化学界的深度学习革命：MoLFormer 项目地址:https://gitcode.com/IBM/molformer 在现代科学研究中，尤其是在药物发现与材料科学领域，对分子属性的准确预测是至关重要的。然而，传统方法受限于化学空间的庞大和标签数据的稀缺。为打破这一瓶颈，我们为您介绍一个创新性的解决方案——MoLFormer。这是一个专为化学语言设计的大规模模型，它的出现预示着自监督学习在化学...
深度学习Day-20：DenseNet算法实战 乳腺癌识别
m0_51359915的博客
06-12 393
中的学习记录博客。
深度学习长文｜使用 JAX 进行 AI 模型训练
冷冻工厂
06-13 238
实际上，考虑到 PyTorch 背后庞大的开发者社区，以及 PyTorch 所原生支持而 JAX/FLAX 尚未涵盖的众多特性（例如自动混合精度、先进的注意力机制层，至少在本文撰写时），有人可能会强烈主张没有必要投入时间去掌握 JAX。在本文中，我们将使用 Flax，据本文撰写时的观察，它似乎是最受欢迎的选择。值得注意的是，每个机器学习开发框架都可能拥有其独到的特性（例如，截至本文撰写时，JAX 的 SPMD 自动分片和 PyTorch 的 SDPA 注意力机制），这些特性可能在性能比较中起到关键作用。
深度学习-CPGNet部署
weixin_40826634的博客
06-09 222
模型是torch1.8导出的，对应的onnx版本是11，但是onnx是torch1.12生成的，对应的onnx版本是16。将onnx.export函数的属性从opset_version=16改成opset_version=11。
NLP实战入门——文本分类任务（TextRNN，TextCNN，TextRNN_Att，TextRCNN，FastText，DPCNN，BERT，ERNIE）
a_blade_of_grass的博客
06-09 1417
本文参考自，是为了进行NLP的一些典型模型的总结和尝试。
深度学习每周学习总结N1（one-hot 编码案例）
qq_33489955的博客
06-12 766
之前有学习过文本预处理的环节，对文本处理的主要方式有以下三种：1：词袋模型（one-hot编码）2：TF-IDF3：Word2Vec(词向量)详细介绍及中英文分词详见pytorch文本分类（一）：文本预处理本期主要介绍one-hot编码示例流程（词汇表 -> 文本序列 -> One-hot编码）手撕模式 + 直接调用现成的词袋模型（CountVectorizer）
基于深度学习的向量图预测
weixin_42605076的博客
06-13 458
基于深度学习的向量图预测通过构建和训练复杂的神经网络模型，有效地从像素图像中提取几何信息，生成高质量的向量图形。尽管面临数据表示、几何复杂性和数据集缺乏等挑战，但随着深度学习技术的不断进步，向量图预测在多个领域展现出了广阔的应用前景。通过数据增强和预处理技术，可以进一步提升向量图预测模型的鲁棒性和准确性。
高创新 | CEEMDAN-VMD-BiLSTM-Attention双重分解+双向长短期记忆神经网络+注意力机制多元时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
06-13 789
高创新 | CEEMDAN-VMD-BiLSTM-Attention双重分解+双向长短期记忆神经网络+注意力机制多元时间序列预测
Python深度学习：Bi-LSTM和LSTM在网络上有什么区别，对比来看
惊鸿若梦一书生
06-12 42
Python深度学习：Bi-LSTM和LSTM在网络上有什么区别，对比来看
区间预测 | Matlab实现EVO-CNN-SVM能量谷算法优化卷积神经网络支持向量机结合核密度估计多置信区间多变量回归区间预测
最新发布
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
06-13 290
区间预测 | Matlab实现EVO-CNN-SVM能量谷算法优化卷积神经网络支持向量机结合核密度估计多置信区间多变量回归区间预测
深度学习：使用argparse 模块
xw555666的博客
06-13 735
argparse 模块是 Python 标准库中的一个模块，用于解析命令行参数。它可以帮助开发者轻松地编写用户友好的命令行接口，使得程序可以通过命令行参数来接受用户输入，并根据这些输入执行相应的功能。以一段代码为例，展示了如何使用 argparse 模块解析命令行参数并执行特定操作。通过结合命令行参数和脚本逻辑，可以方便地实现复杂的任务自动化流程。上述示例详细解释了命令行参数的传递和处理方式，有助于更好地理解和使用 argparse 模块。
区间预测 | Matlab实现LSTM-ABKDE长短期记忆神经网络自适应带宽核密度估计多变量回归区间预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
06-09 580
区间预测 | Matlab实现LSTM-ABKDE长短期记忆神经网络自适应带宽核密度估计多变量回归区间预测
从GAN到WGAN（01/2）
gongdiwudu的专栏
06-09 873
生成对抗网络 （GAN） 在许多生成任务中显示出巨大的效果，以复制现实世界的丰富内容，如图像、人类语言和音乐。它的灵感来自博弈论：两个模型，一个生成器和一个批评家，在相互竞争的同时使彼此更强大。然而，训练GAN模型是相当具有挑战性的，因为人们面临着训练不稳定或收敛失败等问题。在这里，我想解释一下生成对抗网络框架背后的数学原理，为什么很难训练，最后介绍一个旨在解决训练难点的GAN修改版本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值