AI大模型训练会导致电力短缺吗？_大模型电力基础设施建设-CSDN博客

本文链接：https://blog.csdn.net/xxue345678/article/details/139434864

随着深度学习技术的突破，AI大模型在处理复杂任务方面展现出了前所未有的能力，包括语言理解、图像识别和游戏等。大模型能力的提升，需要大模型算力提供强大支持，而巨大的算力必须赖于高性能的GPU集群。GPU集群的高效运行（为保障运行，散热所需的电力同样巨大）又是以消耗大量电力为前提的。换一句话说，如果没有强大的电力支持，大模型的训练任务是不可能完成的。但在大模型竞赛如火如荼地进行时，科技巨头在规模上你追我赶，根本不可能停下脚步，以至于电力需求越来越巨大。

埃隆·马斯克（Elon Musk）就感叹：“我从未见过任何技术进步得比这更快。”“人工智能计算似乎每六个月就以10倍的速度增长。很明显，它不能永远以这么高的速度持续下去。”同时，他不无忧虑地说：“人工智能计算的限制是非常可预测的……一年前，短缺的是芯片，神经网络芯片。那么，很容易预测，下一个短缺的将是电力基础设施（如变压器）。”“到2025年，电力供应可能不足以为越来越多的人工智能芯片供电。”

当然，不只是马斯克看到了问题之所在。Open AI创始人Sam Altman也曾表示：“人工智能的未来取决于清洁能源的突破。”英伟达创始人黄仁勋则指出：“AI的尽头是光伏和储能。”

训练大模型到底有多耗电？

以OpenAI的GPT-3模型为例，其训练过程的耗电量约为1.287吉瓦时，相当于120个美国家庭一年的用电量。这种电力消耗不仅体现在训练阶段，推理环节同样需要大量的电力支持。

尽管推理或模型部署阶段所需电力不如训练阶段那么多，但考虑到AI模型可能需要7×24小时不间断地运行以响应用户请求，这种持续的电力消耗同样不容忽视。推理阶段的电力消耗取决于模型的复杂度和请求的数量。实际上，人们都向复杂程度高与响应快速的大模型集中，这就增加了聊天机器人或搜索引擎后端的AI模型运行的电力消耗。

ChatGPT每天要响应大约2亿个请求，所需电力超过50万千瓦时，也就是说，ChatGPT每天的用电量相当于1.7万个美国家庭的用电量（美国普通家庭日均耗电量约为29千瓦时）。而随着生成式AI的广泛应用，预计到2027年，整个人工智能行业每年将消耗85～134太瓦时（1太瓦时=10亿千瓦时）的电力。

从参数规模上看，大模型先后经历了预训练模型、大规模预训练模型、超大规模预训练模型三个阶段，参数量实现了从亿级到百万亿级的突破。

2017年，谷歌首次提出6500万参数的Transformer模型；2018年，谷歌发布基于Transformer的BERT，BERT的参数为3.4亿；2019年，OpenAI推出了15亿参数的GPT-2，同年，谷歌推出T5模型，参数达到110亿。2020年，OpenAI推出了1750亿参数的GPT-3；2021年，谷歌推出Switch Transformer架构，其参数量扩展到了1.6万亿；同年，北京智源人工智能研究院也推出参数量在万亿级别的模型“悟道”。2022年，清华大学、阿里达摩院等机构的研究人员提出的“八卦炉”模型，其具有174万亿个参数。到今天，大模型参数量已实现百万亿级的突破。

人工智能大模型GPT-4的主要参数是GPT-3的20倍，计算量是GPT-3的10倍，能耗也随之大幅增加。

OpenAI曾发布报告指出，自2012年以来，AI训练所耗电力每3～4个月就会翻一倍。这说明，电力消耗与参数模型的迭代升级成正比。人工智能大模型的迭代创新，正是以电力能耗的高昂成本为代价的。据华为AI首席科学家田奇给出的数据，AI算力在过去10年至少增长了40万倍，这样的电力消耗增长，显然AI大模型所耗电力是惊人的，也是电力发展速度不可企及的。

据美林银行预测，到2030年，全球数据中心的电力需求可能达到126-152吉瓦，在此期间新增大约250太瓦时的电力需求，相当于2030年美国总电力需求的8%，而美国数据中心的电力需求将以每年约10%的速度增长。

华泰证券研报预测，到2030年，中国与美国的数据中心总用电量将分别达到0.65～0.95万亿千瓦时、1.2～1.7万亿千瓦时，是2022年的3.5倍和6倍以上。届时，AI用电量将达到2022年全社会用电量的20%和31%。

更有预测指出，如果不采取有效措施，到2030年AI可能会消耗全球电力供应的50%。如果是这样，电力短缺将成为现实。

国际能源署近期发布的报告预测，未来三年，全球对数据中心、加密货币和人工智能的电力需求将增加一倍以上，相当于一个德国的全部电力需求。到2026年，全球总体电力需求预计将增长3.4%。

目前，大模型训练的具体能耗量为1287兆瓦时（大概相当于3000辆特斯拉电动汽车同时上路），这一数据来自斯坦福人工智能研究所发布的《2023年AI指数报告》。

国外研究显示，一次标准谷歌搜索耗电0.3瓦时，AI大语言模型ChatGPT响应一次用户请求耗电约2.96瓦时，在AI大模型驱动下的一次谷歌搜索耗电8.9瓦时。

AI大模型对电力系统有何影响？

实际上，AI大模型训练已经对电力系统产生了重大影响。

首先是导致了电力需求急剧增加。高电力需求一旦超出现有电力基础设施的设计容量，就需要对电网进行升级或扩建以满足需求。在用电高峰时段，AI训练中心的电力消耗可能会影响电网的稳定性，导致供电波动甚至停电。AI训练中心的电力需求可能会与居民和工业用电发生冲突，特别是在电力供应不足时，需要权衡能源如何分配的问题。电力供应紧张的压力会导致电力成本上升，增加AI训练的经济负担，影响相关企业和研究机构的运营。

其次是倒逼电力行业转型，改变能源格局，为可再生能源带来机遇。AI训练的高能耗问题也为可再生能源的利用提供了机遇，鼓励数据中心采用太阳能、风能等清洁能源，促使电力行业向更环保的能源结构转型。为了更有效地管理和分配电力，电力行业正在发展智能电网技术，提高电网的灵活性和可靠性。随着AI训练对电力稳定性的需求，电力行业正在探索和应用各种储能技术，如电池储能系统，以平衡供需。同时，电力行业正通过需求侧管理来应对AI训练带来的电力需求波动，例如通过动态定价机制来平衡负载。

如何应对AI高能耗？

面对AI的高能耗问题，行业已经开始采取一系列措施。一方面，通过技术创新和算法优化来提高能效，减少电力消耗。另一方面，正在逐步完善相关政策和法规，以促进AI行业的绿色发展。本身大模型训练就很烧钱，电力成本又是很大的一块支出。所以，数据中心选址要尽量靠近电力中心，如水力资源丰富的地区，最主要的考虑就是输送中的能耗。也有企业另辟蹊径，为降低电力消耗，微软曾尝试部署海下数据中心，脸书（Facebook）数据中心选址北极圈附近，阿里云千岛湖数据中心使用深层湖水制冷等。

对于AI行业来说，正在开发新的算法和技术，以提高AI模型的能效。其中包括优化神经网络结构，减少不必要的计算，以及采用更高效的机器学习算法。研究人员正在探索算法优化方法，如模型剪枝、量化和知识蒸馏等技术，力求减少模型的复杂性，降低能耗，同时保持高性能。

针对AI训练的专用硬件，如ASIC（应用特定集成电路）和TPU（张量处理单元），正在被开发以提供更高的计算效率，并降低能耗。

上面已经提到，为了减少对化石燃料的依赖，许多数据中心开始采用太阳能、风能等可再生能源，以实现更清洁的能源供应。同时，采用节能设计，利用自然冷却方法，以及高效的能源管理系统，这样的数据中心被定义为绿色数据中心。

政府和监管机构也正在制定政策和法规，鼓励和支持AI行业的绿色发展，包括提供税收优惠、补贴和研发资金。

总之，既不是抑制AI大模型的规模，也不是要减少数据中心的能源消耗，而是要提升能源消费的质量。

从电力行业来说，为了应对挑战，正在探索一系列解决方案。例如，提高电力供应的灵活性、推广分布式能源系统以及减少能源输送损耗等。

从提高电力供应的灵活性来说，可以采取以下措施。

一是整合可再生能源。通过将太阳能、风能等可再生能源更好地整合到电力系统中，利用其高渗透率的特点，优化规划和布局，以适应电力需求的变化。同时，考虑到可再生能源的大规模并网带来的不确定性，需要提升电力系统的灵活性，以增强其应对不确定事件的调节能力。

二是智能电力调度。利用知识图谱整合电力供应链、需求管理和设备状态等信息，结合大数据和人工智能技术开展电力调度，实现供需平衡，减少电量损耗。这种智能调度方式可以更精准地应对市场变化，提高电力系统的稳定性和可靠性。

在这里插入图片描述

三是推广分布式能源系统。通过推广分布式能源系统，如电池储能系统（BESS），可以增强电网的弹性，特别是在极端事件期间，通过输电扩展和最优资源分配来增强电网弹性。

四是改造现有机组和设备。改变现有机组的运营模式，进行设备灵活性改造，以及创新电厂灵活性发电方式，可以提升系统的灵活性。此外，加大力度推动具备改造条件的煤电机组进行灵活性改造，同时加快完善辅助服务市场建设，明确补偿机制，调动企业实施灵活性改造的积极性。

五是优化电网规划和运行。考虑线路传输能力和安全运行的角度定义电网灵活性指标，并在此基础上，考虑系统经济运行策略，以保障系统的安全经济运行。同时，建立综合考虑储能、需求侧响应以及短路电流约束的电网规划混合整数线性规划模型，以总投资最小为目标函数，优化电网扩展规划。

为应对挑战，国家能源局发展规划司副司长赵莉在国家能源局2024年二季度新闻发布会上曾指出，国家能源局正在密切跟踪人工智能等高新技术发展趋势，分析研判电力需求增长态势，系统谋划保供举措，确保能源稳定供应与需求增长相适应。

为持续强化能源电力供应保障，我国电力行业在发挥好化石能源兜底保障作用的同时，正加快煤电等支撑调节性电源建设，并更加积极地推动新能源发电平稳健康发展。

实际上，AI大模型不仅给电力行业带来了挑战，也带来了新的高科技。我国正在电力行业中推广大模型技术，来提高电厂的运行效率和安全性，并获得高效管理、智能化建议和决策支持。南方电网公司自主研发的电力行业人工智能创新平台，已经展示了其在电力政策法规、能源结构组成和“双碳”发展目标方面的应用能力。具体到技术层面，大模型技术已经能够在输配电领域每分钟处理100张问题图片，同时识别20类缺陷，其识别效率是传统AI算法的10倍，为提升能源效率发挥了重要作用。