【AI学习】LLaMA模型的微调成本有几何？

在前面文章《LLaMA 系列模型的进化（二）》中提到了Stanford Alpaca模型。
Stanford Alpaca 基于LLaMA (7B) 进行微调，通过使用 Self-Instruct 方法借助大语言模型进行自动化的指令生成，Stanford Alpaca 生成了 52K 条指令遵循样例数据（Alpaca-52K）用于训练。

据说，这个训练成本不到600美元。那这个成本是如何计算的呢？
训练成本：在8个80GB A100 上训练了3个小时，不到100美元；
数据成本：生成数据使用OpenAl的API，500美元。这里就是通过使用 Self-Instruct 方法，使用了OpenAl的接口的调用成本。

在前面文章《英伟达ChipNeMo，一个领域大模型的训练案例》里，介绍了领域大模型的训练过程。如下图：