单个大模型的训练成本，两年后或涨至近百亿美元

美国AI公司Anthropic的CEO达里奥·阿莫迪（Dario Amodei）近日在接受《纽约时报》记者采访时，谈到了训练AI大模型的成本问题。Anthropic公司以Claude系列大模型而闻名，近期推出的Claude 3 Opus在整体性能上已经超过了GPT-4。

达里奥·阿莫迪指出，对于目前已经训练出来的高性能大模型，一个大模型的训练成本大约在一亿美元左右（正负会有两、三倍误差）；对于目前正在训练、今年晚些时候或者明年初推出的高性能大模型，一个大模型的训练成本大约在十亿美元左右，这是正在发生的事。达里奥·阿莫迪认为到了2025—2026年，有关的训练成本会接近五十亿或者一百亿美元。

上述的部分训练成本数值从近期斯坦福大学发布的《2024年人工智能指数报告》[1]中可以得到一定程度的验证。这份报告中含有若干现有大模型的训练成本的估算，例如：

• GPT-4的训练成本估算是七千八百万美元；
• Gemini-Ultra的训练成本估算是一亿九千万美元。

这份报告中也含有若干早期模型的训练成本的估算，例如：

• BERT-Large的训练成本估算是三千多美元；
• RoBERTa-Large的训练成本估算是十六万美元；
• LaMDA的训练成本估算是一百三十万美元；
• Llama-2 70B的训练成本估算是三百九十万美元；
• GPT-3 175B的训练成本估算是四百三十万美元。

参考资料：
[1] https://aiindex.stanford.edu/report/

封面图：Christopher Burns、Unsplash