OpenLAM | 深度势能预训练大模型DPA-2发布

人工智能MOS

已于 2024-01-26 19:53:03 修改

阅读量1.1k

点赞数 31

文章标签：人工智能机器学习大模型 neo4j

于 2023-12-29 09:58:50 首次发布

本文链接：https://blog.csdn.net/2301_81887304/article/details/135283789

版权

深度势能团队发布了DPA-2大模型，旨在成为OpenLAM计划的关键组成部分，推动微尺度科学计算的革新。DPA-2采用多任务预训练策略，大幅减少下游任务数据需求，提升模型迁移能力。此外，模型蒸馏流程提高效率，适用于实际应用。DPA-2在多个领域展现出优越性能，降低了数据生产成本，为通用大原子模型发展迈出重要一步。

摘要由CSDN通过智能技术生成

在迈向通用大原子模型（Large Atomic Model，LAM）的征途上，深度势能核心开发者团队面向社区，发起 OpenLAM 大原子模型计划。OpenLAM 的口号是“征服元素周期表！”，希望通过建立开源开放的围绕微尺度大模型的生态，为微观科学研究提供新的基础设施，并推动材料、能源、生物制药等领域微尺度工业设计的变革。

经过北京科学智能研究院、深势科技、北京应用物理与计算数学研究所等 29 家单位的 42 位合作者的通力协作，深度势能团队近日面向社区发布了深度势能预训练大模型 DPA-2，将成为 OpenLAM 大原子模型计划的重要载体。基于 DPA-2 的微调/蒸馏/应用自动化流程也于同期面向社区全面开放，打通了面向各类实际应用的最后一公里。相关文章[1]以《DPA-2: Towards a universal large atomic model for molecular and material simulation》为题，在arXiv上预发表。

面向丰富的下游任务，微调 DPA-2“大模型”所需的数据量整体相比过去减少了 1-2 个数量级；同时，进一步蒸馏、压缩得到的深度势能“小模型”可以保持过去模型的精度和效率。相比于去年发布的 DPA-1，DPA-2 在模型架构显著更新的同时，最大的特点在于采用了多任务训练的策略，从而可以同时学习计算设置不同、标签类型不同的各类数据集。由此产生的模型在下游任务上显示出极强的 few-shot 乃至 zero-shot 迁移的能力，显著超越过去的方案。目前用于训练 DPA-2 模型的数据集已覆盖了半导体、钙钛矿、合金、表面催化、正极材料、固态电解质、有机分子等多类体系。

图1 DPA-2 提出的多任务预训练、微调、蒸馏全流程示意图

“大原子模型计划(OpenLAM)”为进一步打破数据壁垒，拓宽原子层面各方面的应用，为开源开放的科学计算生态共建打开了新的思路。作为一项开放式的协作计划，建立一个开放且面向应用的模型评估系统也格外重要。面向社区该计划将定期进行模型更新与评估报告发布、定期更新发布领域应用与评估工作流，同时开展比赛、培训交流，与领域开发者协作推动建立供预训练与评估的数据集等。这将是 OpenLAM 计划在 2024 年的重点。

感兴趣的读者，欢迎通过以下 Bohrium Notebook 链接快速上手 DPA-2，也欢迎使用 DP Combo@Bohrium APP 更加深入系统地产生你需要的势函数！

Notebook链接

https://nb.bohrium.dp.tech/detail/18475433825

以下为关于 DPA-2 的详细介绍。

1 DPA-2 项目背景

机器学习势函数在材料科学、计算物理等领域应用广泛，并取得了较大成果。然而，面对一个新的复杂体系，要获得可用的、较为完备的势函数模型，科学家们基本上仍然需要获取大量计算数据并从头开始训练模型。随着电子结构数据的积累，开始有工作关注“通用”的势能函数模型，比如 DPA-1，Gemnet-OC，Equiformer-V2，M3GNet 等，并有部分工作将其应用到“预训练+微调”的范式上来，从而节省新体系的数据生产成本。

但是这些模型还没有做到通用，主要有以下几方面的问题：

（1）模型要求产生预训练数据的方式（比如泛函、DFT 计算的参数设置等）必须严格一致，这极大地限制了训练数据的