ChemEval: A Comprehensive Multi-Level Chemical Evalution for Large Language Models

本文是LLM系列文章，针对《ChemEval: A Comprehensive Multi-Level Chemical Evalution for
Large Language Models》的翻译。

摘要

人们对LLM在化学中的作用越来越感兴趣，这导致人们越来越关注针对化学领域量身定制的LLM基准的开发，以评估LLM在不同类型和复杂性的化学任务中的性能。然而，该领域的现有基准未能充分满足化学研究专业人员的具体要求。为此，我们提出了ChemEval，它对LLM在各种化学领域任务中的能力进行了全面评估。具体而言，ChemEval确定了化学中的4个关键渐进水平，评估了42个不同化学任务中LLM的12个维度，这些任务由开源数据和化学专家精心制作的数据提供信息，确保这些任务具有实用价值，能够有效地评估LLM的能力。在实验中，我们在零样本和小样本学习情境下评估了ChemEval上的12个主流LLM，其中包括精心选择的演示示例和精心设计的提示。结果表明，虽然GPT-4和Claude-3.5等一般LLM在文献理解和指令跟踪方面表现出色，但在需要高级化学知识的任务方面却存在不足。相反，专业LLM表现出更强的化学能力，尽管文学理解能力降低。这表明，LLM在处理化学领域的复杂任务时具有巨大的增强潜力。我们相信，我们的工作将有助于探索它们推动化学进步的潜力。我们的基准和分析将在