ChemLLM: A Chemical Large Language Model

本文是LLM系列文章，针对《ChemLLM: A Chemical Large Language Model》的翻译。

摘要

大型语言模型（LLM）在化学应用方面取得了令人印象深刻的进展，包括分子性质预测、分子生成、实验方案设计等。然而，该社区缺乏专门为化学设计的基于对话的模型。挑战来自这样一个事实，即大多数化学数据和科学知识主要存储在结构化数据库中，而直接使用这些结构化数据会损害模型保持连贯对话的能力。为了解决这个问题，我们开发了一种新的基于模板的指令构建方法，将结构化知识转化为简单的对话，使其适合于语言模型训练。通过利用这种方法，我们开发了ChemLLM，这是第一个专门用于化学的大型语言模型，能够通过流畅的对话交互在化学学科中执行各种任务。ChemLLM在化学的所有三个主要任务（即名称转换、分子标题和反应预测）上都击败了GPT-3.5，并在其中两个任务上超过了GPT-4。值得注意的是，尽管ChemLLM主要接受以化学为中心的语料库训练，但它对相关的数学和物理任务也表现出了非凡的适应性。此外，ChemLLM在化学领域的专业NLP任务方面表现出熟练程度，如文献翻译和化学信息编程。ChemLLM为化学研究开辟了一条新的探索途径，而我们将结构化化学知识整合到对话系统中的方法为在各个科学领域开发LLM开辟了一个新的前沿。代码、数据集和模型权重可在