MatSci-LLM ——潜力和挑战以及大规模语言模型在材料科学中的应用

概述

大规模语言模型的出现正在从根本上改变技术开发和研究的方式。大规模语言模型不仅对自然语言处理领域产生了重大影响，而且对许多相关领域也产生了重大影响，例如从文本生成图像的计算机视觉（Zhang 等人，2023 年）。因此，将大规模语言模型的能力融入各行各业的工作正在加速进行。

例如，医疗保健（He 等人，2023 年）、法律（Dahl 等人，2024 年）、金融（Wu 等人，2023 年a）和软件工程（Fan 等人，2023 年）领域的任务自动化。

其中值得一提的是将大规模语言建模应用于材料科学。这加快了新材料的发现、合成和分析，从而为解决当代复杂的社会问题提供了巨大的可能性，如气候变化和能源安全、可持续农业和制造业、个性化医疗设备，以及获取更强大的计算系统。

最近的研究表明，大规模语言模型在化学（Jablonka 等人，2023 年）和生物学各领域（Lin 等人，2023 年；Hsu 等人，2022 年；Xu 等人，2023 年；Cui 等人，2023 年；Dalla-Torre 等人，2023 年）的应用日益增多，但在材料科学领域的应用却进展缓慢。但其在材料科学中的应用仍然缓慢。

本文分析了当前材料科学领域大规模语言建模所面临的挑战，整理并提出了材料科学大规模语言模型（MatSci-LLM）的要求。论文还提供了一个路线图，展示了 MatSci-LLM 在材料科学领域发展中的具体应用。

材料科学中大规模语言模型的失败

论文显示了大规模语言模型在材料科学领域应用的巨大潜力。然而，了解它们在实际应用中的局限性也很重要。论文举例说明了大规模语言模型在问题解答、代码生成、同源表达提取、摘要分类和材料文献的成分提取等任务中的失败案例，说明了开发稳健的 MatSci-LMs 的必要性。

GPT-4 和 LLaMA-2 是著名的高性能大规模语言模型，是在大量公共文本数据的基础上训练出来的。因此，它们被认为从维基百科和其他公共资源中掌握了一定的材料科学知识。

因此，Zaki 等人（2024 年）创建了一个数据集，其中包括 650 个要求具备本科生水平知识的问