ChemLLM：化学领域的大模型

最新推荐文章于 2025-02-17 20:07:46 发布
最新推荐文章于 2025-02-17 20:07:46 发布
阅读量1.6k 收藏 10
点赞数 17
分类专栏： 人工智能讲师 文章标签： 人工智能 深度学习 化学 计算机视觉 自然语言处理 多任务语言评估 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44292902/article/details/140772701
版权

人工智能咨询培训老师叶梓 转载标明出处

在化学这一特定学科的应用上，一直缺乏专门的对话模型。化学数据和科学知识通常存储在结构化的数据库中，这给直接使用这些数据训练语言模型带来了挑战。为了解决这一问题，来自上海人工智能实验室的研究团队及其合作者们开发了一种基于模板的指令构建方法，将结构化知识转化为适合语言模型训练的自然对话形式。

ChemLLM 的开发，填补了化学领域对话模型的空白。它不仅在化学任务上表现出色，如分子属性预测、分子生成和实验方案设计等，还在数学和物理等相关领域展现了出色的适应性。ChemLLM 在化学核心任务上超越了 GPT-3.5，并在其中两个任务上超越了 GPT-4。

开发化学领域大型语言模型（ChemLLM）所面临的挑战以及解决方案

ChemLLM 的开发过程中，研究团队面临了将化学领域的结构化数据转化为自然语言以供语言模型训练的挑战。为了应对这一挑战，他们创造了 ChemData，这是一个合成的化学指令调整数据集，它构成了训练 ChemLLM 的基础。

ChemData 和 ChemBench 的数据信息

Ch

最低0.47元/天 解锁文章
ChemLLM: A Chemical Large Language Model
c_cpp_csharp的专栏
03-26 388
大型语言模型（LLM）在化学应用方面取得了令人印象深刻的进展，包括分子性质预测、分子生成、实验方案设计等。然而，该社区缺乏专门为化学设计的基于对话的模型。挑战来自这样一个事实，即大多数化学数据和科学知识主要存储在结构化数据库中，而直接使用这些结构化数据会损害模型保持连贯对话的能力。为了解决这个问题，我们开发了一种新的基于模板的指令构建方法，将结构化知识转化为简单的对话，使其适合于语言模型训练。
垂直领域大模型搭建训练指南，ChemLLM论文介绍
大模型天花板
02-27 2990
论文是上海人工智能实验室的工作，想训练一个化学垂直领域的对话大模型，然而现有的化学数据往往是结构性的，所以这里论文提出了一套垂直领域数据制作和训练方法，为社区制作专有领域模型提供参考。ChemLLM在化学的三个主要任务上都超过了GPT-3.5，并且超过了GPT-3.5，在其中两个任务上都超过了GPT-4。值得注意的是，ChemLLM对相关的数学和物理任务也显示出了特殊的适应性，尽管它主要接受了以化学为中心的语料库的训练。原化学的表达是SMILES，不适合自然语言处理。
ChemReasoner——基于量子化学与大语言模型（LLM） 发现最佳催化剂的框架并提高催化剂发现的效率
知来者逆的博客
12-02 1230
为了发现新催化剂，有必要找到化学描述符（特性）的最佳组合。然而，这些往往是基于经验法则。化学家们在头脑中推理反应物、催化剂和操作条件的组合，以实现更节能的化学转化。在一项研究（Nørskov 等人，2011 年）中，利用化学描述符将微观表面性质与宏观催化性能联系起来，被认为是快速提出新假设的关键。大型语言模型可以实现这种数据驱动的自主探索，加速科学发现。本文旨在利用量子化学反馈增强自然语言推理能力，以发现目标反应的最佳催化剂。
AI生物制药论文解析|ChemLLM A Chemical Large Language Model-water-merged
haimianxiaobao11的博客
02-17 894
本文介绍了ChemLLM，这是第一个专门为化学领域设计的大型语言模型（LLM）。ChemLLM旨在解决化学数据和知识的结构化存储问题，提供流畅的对话交互能力。为此，研究团队开发了ChemData，一个用于指令微调的数据集，以及ChemBench，一个涵盖九项核心化学任务的基准测试。实验结果表明，ChemLLM在核心化学任务上与GPT-4的表现相当，并在一般场景中与同规模的LLM相比展现出竞争力。ChemLLM的开发为化学研究提供了新的探索路径，并为科学领域的LLM开发设定了新的标准。
助力解析化学图像生成文本分析，化学大语言模型 ChemVLM 来啦！
XLionXxxx的博客
09-25 325
该模型旨在解决化学图像理解与文本分析之间的不兼容问题，通过结合视觉 Transformer (ViT)、多层感知机 (MLP) 和大型语言模型 (LLM) 的优势，实现了对化学图像和文本的全面推理。可以看到模型针对图像准确描述了图像的内容是黄色的液氮罐，接着我们可以继续问它一个问题，比如我们输入「液氮的化学分子式是什么」。平台会自动选择合适的算力资源和镜像版本，这里使用的是英伟达 A100的算力和 PyTorch 的镜像，点击「审核并执行」。确认模型信息无误后，点击「继续执行」。
第一个化学领域的开源多模态大语言模型：通过ChemVLM架起视觉与化学知识的桥梁
u014546828的博客
08-15 2142
本文提出了ChemVLM，这是首个面向化学领域的开源多模态大型语言模型，旨在解决化学图像理解与文本分析之间的不兼容问题。该模型基于VIT-MLP-LLM架构，采用ChemLLM-20B作为基础大型模型，使模型在理解和利用化学文本知识方面具备了强大的能力。此外，还采用了InternVIT-6B作为强大的图像编码器。从化学领域精心挑选了高质量数据，包括分子、反应式以及化学考试数据，并将这些数据编译成一个双语多模态问答数据集。本文在多个开源基准测试集和三个自定义评估集上测试了模型的性能。
AI大模型应用入门实战与进阶：40. AI大模型在化学领域的应用
AI天才研究院
01-08 2033
1.背景介绍 化学是研究物质性质、成分、结构以及化学反应的科学。化学领域涉及到许多复杂的计算和预测任务，例如物质性质预测、化学结构优化、化学反应预测等。随着数据规模的增加，传统的化学计算方法已经无法满足需求。因此，人工智能(AI)大模型在化学领域的应用变得越来越重要。 AI大模型在化学领域的应用主要包括以下几个方面： 物质性质预测：利用大模型预测物质的性质，例如物质的溶解性、燃烧性、毒性等...
ChemLLM化学大模型再升级，AI助力化学研究
ShushengPuyu的博客
08-06 2326
ChemLLM系列模型是由上海人工智能实验室基于InternLM2 开发的首个兼备化学专业能力和对话、推理等通用能力的开源大模型。相比于现有的其他大模型，ChemLLM 对化学空间进行了有效建模，在分子、反应和其他领域相关的化学任务上表现优异。
春节后，必读的12篇大模型论文
AMiner2006的博客
02-20 1387
分享几篇春节假期期间热门大模型论文，包括首个为Windows OS定制的UI智能体UFO、可阅读20倍上下文的AI智能体ReadAgent、首个化学领域大模型ChemLLM等。
MindSpore AI科学计算系列 | 化学深度学习模型ChemGPT的性能评估公式拟合
Kenji_Shinji的博客
02-07 1372
观察到基于transformer的模型预训练损失可以通过数据集或者模型体量的增加而得到明显的改善，该团队为化学设计了一个名为ChemGPT的生成式大语言模型，以研究数据集和模型大小对预训练损失的影响。借鉴CV和NLP领域利用加速神经架构搜索和超参数传递的技术，如TSE、μTransfer，可以加速深度学习大模型开发的思路，MIT的学者Nathan C. Frey及其团队提出，要研究化学深度学习模型的在不同规模下的能力，需要找到可行并且规范的方法来加速超参数转移和表征神经尺度。
表现优于 GPT-4，ChemCrow 集成 13 种化学工具，增强大型语言模型的化学性能
04-14
最近，大型语言模型 (LLM) 在各种跨领域任务中表现出强大的性能，但在处理化学相关的问题上却举步维艰。此外，LLM 缺乏外部知识来源，限制了其在科学研究中的应用。来自洛桑联邦理工学院（EPFL）和罗切斯特大学的研究人员开发了 ChemCrow，一种 LLM 化学智能体，旨在完成有机合成、药物发现和材料设计等各种任务。通过集成 13 种专家设计的工具，ChemCrow 增强了 LLM 在化学方面的表现，并出现了新的功能。该研究通过 LLM 和专家人工评估，证明了 ChemCrow 在自动化各种化学任务方面的有效性。令人惊讶的是，作为评估器的 GPT-4 无法区分明显错误的 GPT-4 completions 和 GPT-4 + ChemCrow 性能。该研究以「ChemCrow: Augmenting large-language models with chemistry tools」为题，于 2023 年 4 月 11 日发布在 arXiv 预印上。在过去几年中，LLM 通过自动化自然语言任务改变了各个领域。然而，LLM 往往难以完成看似简单的任务，例如基础数学和化学操作。AI 已
上海AI实验室开源科学大模型，理科能力全线提升，免费商用
量子位
01-28 144
允中 发自 凹非寺量子位 | 公众号 QbitAI最新科学大模型浦科化学（ChemLLM），发布即开源！这是上海AI实验室最新开源成果，它基于书生·浦语2.0强大的基座模型能力，通过注入海量化学专业数据，使大模型获得理解和处理化学相关专业任务的知识与能力。值得一提的是，在获得化学能力同时，大模型的数理学科及推理能力还得到增强。目前该模型支持免费商用。化学领域超越ChatGPT浦科化学具备专业的化学...
覆盖 7 百万问答数据，上海 AI Lab 发布 ChemLLM，专业能力比肩 GPT-4
HyperAI超神经
09-04 1107
随着人工智能技术的飞速发展，大语言模型 (LLMs) 凭借其强大的自然语言处理能力，在生命科学、海洋学、材料化学等科学研究中被广泛应用。虽然，LLMs 在分子特性预测、分子生成和实验方案设计等化学相关任务上表现良好，但在处理各种化学下游任务时表现欠佳。首先，大多数化学信息和知识存储在结构化数据库中，直接使用这些数据训练 LLMs 可能会损害模型处理自然语言的能力，使得模型的对话和逻辑推理能力发生退化；其次，在化学信息学中，分子用特殊符号表示，如 SMILES。
LLM在AI4SCIENCE中的应用
miracletiger的专栏
02-06 1782
上海ai for science团队面向化学、物理、生命、地球等科学领域，通过深入研究各学科基础理论，结合最新人工智能理论，探索ai驱动重大科学问题的研究范式，加速人工智能在化学、药物研发、新材料、气象等领域的渗透与落地，赋能各行业发展。来自洛桑联邦理工学院（EPFL）和罗切斯特大学的研究人员开发了 ChemCrow，一种 LLM 化学智能体，受 LLM 在其他领域成功应用的启发，研究人员提出一个 LLM 驱动的化学引擎 ChemCrow，旨在简化药物、材料设计和合成等领域中各种常见化学任务的推理过程。
ChemDataExtractor:从PDF、HTM、文本等中提取化学数据
DrugAI
08-12 4090
ChemDataExtractor简介 ChemDataExtractor是一种从科学文档中自动提取化学信息的工具。给它一篇期刊文章，它将从文本中提取化学名称、属性和光谱，以便将它们导入数据库或电子表格。 ChemDataExtractor官网 ChemDataExtractor特点 自然语言处理 ChemDataExtractor使用最先进的自然语言处理算法来解释构成大多数科学文档的英...
ChemDataExtractor: 科学文献中的化学信息自动抽取工具
gitblog_00892的博客
09-08 1290
ChemDataExtractor: 科学文献中的化学信息自动抽取工具 ChemDataExtractorAutomatically extract chemical information from scientific documents项目地址:https://gitcode.com/gh_mirrors/ch/ChemDataExtractor 项目介绍 ChemDataExtracto...
ai培训师讲师叶梓：计算机视觉领域的自监督学习模型——MAE-5
人工智能讲师分享前沿技术
03-04 5395
接上一篇 P9 P10 ViT中的Tranformer编码器 nTranformer编码器由multi-head self-attention（MSA）和MLP块的层组成。 n在每个块之前应用Layernorm（LN），在每个块之后应用残差连接。 nMLP包含具有GELU非线性的两全连接层。 Vision Transformer（ViT） n模型变种：ViT的配置基于BERT所使用的配置，如下表，BERT采用了“Base”和“ Large”模型，并添加了较大的“Huge”.
大模型预测smliles性质
最新发布
02-25
### 使用大模型预测SMILES字符串代表的化学物质特性 对于利用大型语言模型（LLMs）来预测基于简化分子线性输入系统（SMILES）表示法的分子性质，可以采用专门训练过的化学领域的大规模语言模型（ChemLLM），这类模型在处理化学特定的任务方面表现出显著的优势[^2]。 #### 准备工作 为了实现这一目标，首先需要准备环境并加载必要的库。通常情况下会依赖于一些开源工具包如RDKit用于解析和操作SMILES字符串以及转换成其他格式；Hugging Face Transformers则提供了访问预训练好的大规模语言模型的能力。 ```python from rdkit import Chem from transformers import pipeline, AutoModelForTokenClassification, AutoTokenizer import torch ``` #### 加载预训练模型 选择一个适合做化学属性预测任务的预训练模型非常重要。这里假设已经有一个针对此目的优化过并且公开可用的模型存在： ```python model_name = "path_to_pretrained_chem_model" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForTokenClassification.from_pretrained(model_name).to('cuda' if torch.cuda.is_available() else 'cpu') nlp = pipeline("token-classification", model=model, tokenizer=tokenizer, device=0 if torch.cuda.is_available() else -1) ``` #### 输入与处理 接下来定义要分析的目标化合物，并将其编码为模型能够理解的形式。这一步骤涉及到将SMILES字符串转化为可用于推理的数据结构。 ```python smiles_string = "CCO" # 示例乙醇的SMILES表达式 mol = Chem.MolFromSmiles(smiles_string) if mol is not None: result = nlp(mol.ToBinary()) else: raise ValueError("Invalid SMILES string provided.") ``` #### 解析输出结果 最后一步是从返回的结果集中提取有用的信息，比如物理化学性质或其他感兴趣的特征。具体取决于所使用的模型及其设计意图。 ```python for res in result: print(f"{res['entity']}: {res['score']}") # 假设实体标签对应某些类型的分子特性描述符 ``` 上述过程展示了如何使用专门为化学应用定制化的大型语言模型来进行简单的分子特性的预测。值得注意的是，在实际部署之前还需要考虑更多因素，例如数据集的质量控制、模型的选择依据等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

人工智能大模型讲师培训咨询叶梓

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值