ChemBERTa 化合物小分子的向量表示及相似检索

loong_XL

已于 2022-11-23 10:58:21 修改

阅读量1.6k

点赞数 1

分类专栏： CADD/AIDD 文章标签： python 深度学习 transformers 分子向量表示

于 2022-11-23 09:45:09 首次发布

本文链接：https://blog.csdn.net/weixin_42357472/article/details/127994090

版权

CADD/AIDD 专栏收录该内容

69 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何利用基于transformers的预训练模型ChemBERTa来表示化合物小分子的向量，并进行分子相似性的检索。模型通过分子SMILES进行预训练，其中tokenizer用于构建输入，outputs的pooler_output提供了分子的向量表示。在实际应用中，选择last_hidden_state中的cls向量能获得更好的效果。文章还详细阐述了将分子转化为向量并进行检索的步骤，包括结果展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：https://arxiv.org/pdf/2209.01712.pdf

模型是基于分子simles进行transformer的MLM预训练的bert模型

1、化合物小分子的向量表示


from transformers import BertTokenizer, AutoTokenizer,BertModel
tokenizer_ = AutoTokenizer.from_pretrained("DeepChem/ChemBERTa-77M-MLM")

model_ = BertModel.from_pretrained("DeepChem/ChemBERTa-77M-MLM")


outputs_ = model_(**tokenizer_("Clc1c(Cl)c(O)ccc1O", return_tensors='pt'))

outputs_.pooler_output[0] ##向量，384维度

这是tokenizer_ 查看输入基构建的输入情况，添加了cls seq 两个token
在这里插入图片描述
这是outputs_结果，pooler_output表示cls向量，注意这里pooler_output其实是在cls上再加了层mlp的&#