AI能耗短期不会造成电力短缺,算力能效长期改进空间巨大

人工智能(AI)的快速发展正引发其对能源消耗的普遍担忧。国际能源署(IEA)在2024年的报告中预测,由于AI和加密货币的增长,全球数据中心的用电量将在未来几年内翻倍。2022年,全球数据中心的用电量约为460TWh,到2026年这一数字可能达到1000TWh以上,大致相当于日本的发电量(2022年日本发电量为1013TWh[2])。总体而言,AI能耗的焦虑主要集中在两个问题上:首先,AI带来的能源消耗是否会影响该产业的持续发展;其次,AI的广泛应用是否会导致碳排放量的增加,进而对全球实现碳中和的目标构成威胁。

日前,中金公司证券研究报告第七章提及AI的能耗焦虑:增长极限与绿色困境,从AI自身的能耗、AI在电力消费端和供给端的应用以及AI给我国经济系统带来的能耗三层进行了分析。

据报告内容显示,“我国AI发展带来的智算中心电耗或将在2030年最高达到约4300 亿度”,同时,报告中认为AI对我国能源系统的冲击总体可控,但存在不确定性。AI的两个能耗焦虑有其内在的合理性,值得我国在发展AI产业的初期尽早研究,未雨绸缪,提前采取相应行动,尽可能为AI产业的发展创造良好的能源供给环境。与此同时,也要尽可能避免AI产业对我国绿色转型可能产生的冲击。

AI大模型能耗本质上来自于算力耗能,算力能耗可以进一步分解为两大因素:一是算力规模,二是算力能效,估算AI产业自身的能耗因此需要具体分析这两个方面的变化。

算力规模方面,AI大模型主要在训练和推理两个环节消耗算力。不论是哪个环节,大模型的理论算力需求均与其自身的参数量和处理的数据量正相关。然而,仅考虑推理和训练的理论算力需求并不足以全面反映实际的算力消耗量,还需要考虑模型在服务器运行时的算力利用率。

伴随AI大模型算法规模的扩张,网络通信带宽瓶颈和运行故障率成为了制约模型运行效率的两大因素。从实际运行情况来看,大模型的算力利用率的确在下降。GPT-3训练一次需34天,使用1024张A100芯片,算力利用率44%-52%;GPT-4训练一次使用了约25,000张A100芯片,耗时90-100天,利用率降至32%-36%。推理环节面临低成本与低延迟的权衡,为了实现高并发需求和低延迟输出,则需要增加冗余芯片数量,这反过来又会导致芯片算力利用率的降低。推理环节的算力利用率问题在GPT-4时代的万亿参数模型进一步凸显,GPT-4模型使用了混合专家(MoE)的模型架构,在这一架构下输入令牌长度的增加导致内存带宽成为瓶颈,需要使用更大的算力集群,进而导致算力利用率大幅降低。

  • 10
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

安全方案

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值