ChatGPT搅动AI芯片的“一池春水”

这是IC男奋斗史的第37篇原创

本文1520字，预计阅读4分钟。

ChatGPT是什么以及它的发展历程，相信各位老铁们都已经很清楚，杰哥便不再赘述。大家都知道，杰哥是做AI芯片的，ChatGPT与杰哥的职业发展可谓是息息相关。今天杰哥想研究一下ChatGPT与AI芯片之间的关系。

ChatGPT的算力成本

有数据表明，ChatGPT训练需要消耗的算力大约为3640PF-days。也就是说，每秒运算一千万亿次的话需要运行3640天。假设我们有一个500P算力 (每秒可以进行500千万亿次运算) 的超算中心，完成ChatGPT训练需要花费7到8天时间。如果我们有7到8个这样的超算中心并行运算，完成训练就只需要花费1天时间。

参考近期超算中心的建设投资规模，一个算力约500P的超算中心总投资约为30亿人民币。要支撑ChatGPT的运行，至少需要7到8个这样的数据中心。也就是说，对于ChatGPT来说光基础设施的投入就要两百亿以上。

作为一家创业公司，OpenAI选择的还是一种相对轻快的数据存储和运行方法——上云。目前ChatGPT的训练都是基于微软的超算基础设施完成的。微软的超算设施主要是由英伟达V100和A100 GPU组成的高带宽集群。后续应该会升级到性能更强大的英伟达H100 GPU计算集群。

2023年1月23日，微软宣布向OpenAI追加100亿美元的投资，以支持其在ChatGPT领域的开发与拓展。2月3日，谷歌向人工智能初创公司Anthropic AI投资约4亿美元，后者正在测试ChatGPT的竞品Claude。ChatGPT背后巨大的算力需求将会给高性能计算领域带来巨大的市场需求，这其中收益最大的当属以英伟达为代表的云端AI芯片企业。

ChatGPT背后的AI芯片