基于时空协同的多数据中心低碳经济调度策略

随着人工智能的快速发展，计算需求爆炸式增长，数据中心呈现高速发展态势。据统计，数据中心电力需求以每年15%~20%的速度增长，预计到2030年，其能耗将占全球的8%，并每年产生340Mt
碳排放。由此可见，数据中心愈发成为电网运行中有相当规模体量的负荷，且伴随着巨大的能耗、高昂的运行成本及大量的碳排放。因此，如何提高数据中心能源利用效率已成为当下研究的热点。

数据中心能耗与工作负载量存在对应关系，可以利用工作负载的时空转移来代替电能的传输。时间上，数据中心可以按照给定削减目标，重新安排工作计划，实现负荷削峰填谷。空间上，得益于通信网络和虚拟机技术，用户的计算任务可以通过光纤在极短时间内传输至异地服务器，从而均衡服务器利用率，改变负荷的空间分布。将数据中心这一庞大的灵活性资源时空聚合并纳入需求侧管理，
不仅能够减少数据中心不必要的能源成本和碳足迹，还有助于电网安全稳定运行，为缓解电网阻塞和电力供需矛盾提供新思路，实现双赢。

目前，已有关于数据中心灵活运行特性的研究，包括动态服务器配置、工作负载的时空调度等。谷歌研究发现，数据中心服务器的平均利用率仅为15%左右。这是因为数据中心在实际运行中往往开启充足的服务器，以保证峰值工作负载的服务质量。在保证性能的前提下，动态关闭闲置服务器，以提高能效。研究工作负载的时间灵活性，将数据中心的需求响应能力量化为可移动的计算任务量。提出利用电价差异重新分配多区域数据中心的工作负载以降低总成本。利用数据中心地理资源禀赋差异，将用
户请求时空迁移以追踪可再生能源出力。但上述研究仅得到整体调度方案，而明晰工作负载时空转移的具体路径在业务经营和租户管理方面同样重要。

数据中心参与需求响应的具体模式包括直接负荷控制、电价信号引导及参与电力市场。当数据中心通过调节服务器功耗仍未达到需求响应目标时启动备用柴油发电机，这种模式既昂贵又不环保。当实际功耗与日前调度结果之差小于给定目标时才能成功执行需求响应。电力公司设置实时电价信号引导数据中心参与需求响应。以北欧电力市场为基础，研究数据中心作为市场主体主动参与需求响应，但考核环节的响应执行效果评估未得到充分考虑。

然而，上述研究大多只关注数据中心的经济性，
而忽略了租户意愿和环境效益。执行需求响应不可避免地改变租户固有的数据处理习惯，进而影响其积极性，故在制定调度策略时需要充分考虑租户满意度。考虑租户的响应特性，根据响应次数划分为信任区和疲劳区。从用电方式和用电成本两方面建立用户满意度量化指标，但并未将其纳入优化模型。近年来，“碳达峰、碳中和”逐渐成为全球议题，越来越多数据中心运营商致力于探索脱碳途径。提出数据中心能源成本和碳排放联合最小化问题。然而，碳排放相关指标被独立讨论，并没有核算纳入碳市场运行中。结合行业特点和现行制度，设计了数据中心配额分配与排放核算机制，为数据中心纳入全国碳市场提供方案支撑。

综上，为进一步挖掘数据中心灵活资源的调节潜力，在追求经济性的同时兼顾租户和环境，本文提出一种多数据中心低碳经济调度策略。在真实电力市场需求响应机制下，刻画工作负载时空调节特性，
考虑租户满意度，以经济成本和碳交易成本最小为
优化目标制定数据中心调度策略。最后，仿真验证所提模型的经济性、低碳性和有效性。

1

数据中心模型

本文考虑多个由同一运营商搭建的地理位置分散的数据中心，主要由分布式可再生能源发电（如光伏、风电机组）、储能系统、燃气轮机和可调负荷4个部分组成。单个数据中心通常因其有限的容量无法直接参与电力市场。因此，运营商可以聚合协同多个数据中心，利用产消者特性与电网进行电力交易，如图1所示。

1.1

工作负载分配模型

数据中心工作负载可根据用户的用网需求差异（对延迟的容忍程度）分为两类：交互式和批处理式工作负载。交互式工作负载主要包括实时查询、
网络交易等必须立即服务的用户请求。而批处理式工作负载主要包括数据备份、图像处理、大数据离线
分析等处理时间灵活的用户请求，只需在其截止时间之前完成。因此，运营商可以在调度周期T内，一定程度地推迟批处理式工作负载的处理时间，其时空灵活调节特性如图2所示。

本文考虑多区域数据中心集合I=
{ 1，2，⋯，NI
}（NI为数据中心数量），由同一运营商统一运营。各数据中心将计算资源提供给租户j∈J={1，2，⋯，NJ
}（NJ为租户数量）。考虑数据中心的调度时段t∈T={1，2，⋯，T}，每日划分为T=
24个时段，每个时段的持续时间为Δt=1h。参与需求响应后，数据中心i中租户j在调度时段t需要处理完成的工作负载量定义如下：

式中：λijt
、λijt
分别为需求响应前、后数据中心i中租户j在时段t的工作负载需求；λin
ijt″t
为数据中心i中租户j从时段t″到时段t的负载转入量；λout
ijtt'
为数据中心i中租户j从时段t到时段t'的负载转出量；λin
i″ijt 为从数据中心 i″到数据中心i中租户j在时段t的负载转入量；λout
ii'jt
为从数据中心i到数据中心i'中租户j在时段t的负载转出量。

每个工作负载必须在指定的时间内完成，且只能在指定的数据中心间传输。此外，所有转移的工作负载之和不能超过基线值，还需保持需求响应前后的总工作负载平衡。

1.2

能耗模型

数据中心由信息技术（IT）设备和辅助设备（例如制冷和照明）两个部分组成。现行绿色数据中心评价标准提出使用功率利用效率（power usage
efficiency，PUE）来衡量数据中心的能效水平，即数据中心总能耗与IT设备能耗的比值。此外，由于租
户会提前与运营商签约租赁数台同构服务器，每月缴纳固定的金额，故参与需求响应前所有服务器都保持活跃。需求响应前后数据中心的能耗模型定义如下：

式中：i∈I，j∈J，t∈T；PIT
ijt
、PIT
ijt
分别为需求响应前、后数据中心i中租户j在时段t的IT能耗；PDC
i，t
、
PDC
i，t
分别为需求响应前、后数据中心i在时段t的整
体能耗；Pidle、Ppeak分别为单台服务器的空闲功率和峰值功率；μ为单台服务器的服务率；mi，j，t
为数据中心i中租户j在时段t的活跃服务器数量；Mi，j
为数据中心i中租户j的服务器数量；γPUE为数据中心的能效水平。

此外，由于服务器CPU的计算限制，数据中心在各时段可处理的工作负载量是有限的，需要满足服务器CPU的利用率约束。同时，还需满足服务器开机数量约束：

式中：i∈I，j∈J，t∈T；uijt
为数据中心i中租户j在时段t的平均服务利用率；Umax为CPU利用率的上限。

此外，一切优化数据中心用电负荷的方式都必须在保证租户服务质量（QoS）的前提下进行。这意味着，需求响应导致的工作负载的传输和排队延迟不能超过服务等级协议（service level agreement，
SLA）中规定的最大延迟时间Tmax
ij。因此，有如下
约束：

1.3

需求响应模型

工作负载的时空灵活性和较高的硬件冗余使得数据中心拥有参与电力市场的潜力。本文应用中国广东电力市场日前邀约需求响应机制，其中，数据中心运营商为电力市场中需求侧的参与者之一。根据市场出清的结果，数据中心i需要在规定的需求响应时段TDR内减少相应的功率PDR
it
。地理分布的多个数据中心可以同时参与当地需求响应，获得可观收益，在数据中心-电网互动运行的场景下实现双赢。

数据中心的实际响应容量ΔPDC
it
的定义如式（6）所示。由于需求响应只是引导数据中心节能降耗并获得经济收益的一种方式，数据中心在任何情况下都必须保障其业务顺利完成，故可能出现ΔPDC
it
未达到PDR
it
的情况。

数据中心的有效响应容量Pvalid
it
可被定义为一
个分段函数，当实际响应容量低于α1
PDR
it
时被判定
为无效响应，当高于α2
PDR
it时达到上限，即

式中：i∈I，t∈TDR
；α1
、α2
为有效响应门槛系数。

最后，根据实际响应容量来评价需求响应的执行效果。数据中心参与需求响应的结算费用由有效调用需求响应的收益与惩罚成本组成：

式中：δDR为需求响应出清价格；αpu为需求响应考核惩罚因子。

1.4

碳交易模型

以经济为导向的数据中心优化调度无法体现低碳性。为此，本文创建碳交易模型，在目标函数中考虑碳交易成本C CO2
：

式中：δCO2为碳交易市场的碳价；EM为数据中心的实际碳排放量；EA为数据中心的碳排放配额。

目前，中国以年度为时间尺度给市场主体分配碳排放配额，为研究碳交易对数据中心的减排效果，
本文将碳配额分配的时间尺度修改为一日。根据国家生态环境部发布的相关文件为发电主体免费分配的一日初始碳配额定义如下：

式中：βgas
、βcoal分别为燃气机组和燃煤机组的碳排放
基准值；PG
it为数据中心i中燃气轮机在时段t的输出功率；Pbuy
it为时段t数据中心i向配电网购买的功率，
本文假设外部购电全部来源于燃煤机组发电。

数据中心在碳市场中以碳配额为商品进行交易，以实现自身碳排放量的减少。考虑所有可能产生的碳排放可得：

βcoal
(Pbuy
it-Psell
it
)+βESS
(Pch
it
+Pdis
it
)]Δt    （11）式中：βgas
、βcoal
、βPV
、βWT
、βESS分别为燃气机组、燃煤机组、光伏、风电机组和储能在其生命周期内产生的碳足迹因子；PPV
it
、PWT
it分别为数据中心i中光伏和风电机组在时段t的发电功率；Psell
it为时段t数据中心i出售给配电网的功率；Pch
it
、Pdis
it分别为数据中心i中储能在时段t的充、放电功率。

2

多数据中心优化调度模型

2.1

目标函数

通过在数据中心之间建立能源和信息联系，以最小化运行总成本CDC为目标，可以实现不同地理位置的数据中心之间的协同调度。数据中心整体成本包括燃气轮机运行成本CG
、储能充放电成本CESS
、与配电网的电力交易成本CGird
、碳交易成本
CCO2及参与需求响应的结算费用RDR。此外，为降低租户在需求响应期间的服务器功耗，数据中心运营商还需向租户提供适当的激励CInc，以补偿其因数据处理计划改变造成的损失。激励成本取决于工作负载的实际削减量和延迟时间长短。

式中：δG
、δESS
、δbuy
i，t
、δsell
i，t
、δInc
、δ' Inc
分别为燃气轮机单位
发电成本、储能单位充放电成本、购电价格、售电价
格、租户计算需求在时域和空间上改变的补贴价格；η为储能充放电效率。

2.2

约束条件

1）租户满意度约束

为了最大限度地为需求响应计划和可再生能源消纳作出贡献，数据中心需要将计算任务进行重新分配，这不可避免地会导致处理时间的延迟，可能会影响租户对计算服务的满意程度。本文定义满意度指标L，以需求响应前后工作负载曲线的累计偏差来量化租户的响应满意度。

式中：L为无量纲化后的满意度指标，越接近1，满意度越大；αsc∈[0，1]为比例系数，可以根据租户的满意度偏好进行设置和调节。

为了减少运行成本和碳足迹，越来越多的运营商将光伏和风电机组等可再生能源纳入电力供应。此外，为了满足数据中心对供电可靠性的严格要求，
运营商通常还配备储能、燃气轮机等多种备用电源。

2）燃气轮机约束

式中：PG，max
i
、PG，min
i分别为燃气轮机出力的上、下限；Rdown
i
、Rup
i
分别为燃气轮机最大下爬和上爬功率。

3）储能系统约束

式中：PESS，max
i
为储能允许的最大充放电功率；S0
i为储能在调度初始时刻的容量；Smin
i
和Smax
i
分别为储能允许的最小和最大剩余容量。

4）电力交易约束

式中：PGird，max为交换功率的最大值。

5）功率平衡

数据中心中的燃气轮机出力、光伏出力、风电出力、储能充放电功率，与配电网的双向交易功率和数据中心功耗应始终保持平衡。

2.3

求解方法

上述模型为非线性规划问题，求解存在两个难题：1分段函数；2非线性项。本文先对模型进行线性化处理，转化为混合整数线性规划问题。 

式（7）为不连续的分段函数，引入3个0-1辅助 变量y1it 、y2it 和 y3it ，分别表示数据中心的无效响应、 有效响应和过响应状态，可重构如下：

式中：i∈I，t∈T。 

对于式（15）中的非线性项z2it
=max(PDR
i，t
α1
∆PDC
it0 )，引入0-1辅助变量y4it
、y5it
对其进行线性化，可以得到如下关系式：

式中：i∈I，t∈T。

经上述线性化处理，原问题转化为便于求解的混合整数线性优化模型，可直接使用常见的优化求解器进行求解。本文采用YALMIP工具箱进行建模，并在MATLAB R2023a上采用CPLEX 12.9求解器进行求解。

3

算例分析

本章对所提出的多数据中心优化调度模型进行数值仿真验证。所有仿真均在一台装有Intel Core
i7-12700F CPU和16 GB RAM的台式计算机上进行。

3.1

仿真设置

本文考虑3个不同区域的数据中心DC1、DC2、
DC3，它们由相同的运营商承建，且均配置燃气轮机、储能和清洁能源。不同数据中心由于其所在的地理环境条件限制而在资源禀赋上存在一定差异。DC1/DC2：位于城区，仅具有光伏机组，参与需求响
应。DC3：位于郊区，具有光伏和风电机组，无需求响应。假设每个工作负载任务大小为0.2GB。

租户的工作负载选自Google发布的数据集，
并进行一定比例的缩放。日前邀约的需求响应在上午08：00—12：00时段和下午15：00—19：00时段启动，每小时的需求容量、购售电量的分时电价及典型日预测的风电、光伏出力曲线分别如附录A图
A1、表A2和图A2所示。

3.2

数据中心运行方案对比分析

对4种不同的运行方案进行对比，以说明本文所提出的多数据中心优化调度模型的有效性。 

场景1：各数据中心独立运行，即不考虑数据中心的灵活性和需求响应。 

场景2：考虑服务器动态配置，即根据实际任务量动态调整活跃服务器数量。 

场景3：考虑服务器动态配置和工作负载的时间可调特性。 

场景4：本文模型，同时考虑服务器动态配置和工作负载的时空可调特性。

4种运行方案下数据中心的成本对比如表1所示，出力对比如附录A图A3所示。表1给出了各项成本以及相对于场景1的总成本降低率。各场景的总成本与上一种场景相比都有明显下降，主要归因于两个方面：

1）服务器动态配置直接带来的能耗下降；

2）参与需求响应获得的收益增加。因此，活跃服务器数量的调整和工作负载的时空迁移均可提高数据中心的灵活性，使其更有效地参与需求响应。场景1中各数据中心独立运行，总成本最为昂贵。场景2的能源成本（13 565.86元）较场景1的能源成本（20029.06元）显著下降，可见服务器状态调整带来的节电效果显著，在经济运行中占主导地位。在场景3和场景4中，数据中心利用工作负载可调特性尽可能参与需求响应。为了满足大量工作负载迁入时段的负荷需求，数据中心向配电网购电增多，储能系统调度更加频繁，在一定程度上导致能源成本和碳交易成本的小幅上升。此外，场景4由于在整个运行过程中利用了数据中心的发用电多样性和互补性，
避免了一部分的需求响应惩罚成本，故总成本最低。

3.3

调度结果分析

将租户满意度比例系数设置为0.8，得到数据中心的最优调度结果，如图3所示。

在图3（a）和（b）中，DC1和DC2对其调度计划
进行了适度调整，在保障服务质量的前提下参与需求响应。在01：00—06：00和19：00—24：00时段，
光伏输出功率为0，数据中心负荷完全依靠燃气轮机及配电网供给。此时，数据中心倾向于在低电价
时段（例如01：00—06：00）购买更多的电能，以最小输出功率运行燃气轮机。在其余时段（例如        
19：00—24：00），燃气轮机提高输出功率，以降低购电能，从而降低运行成本。在光伏发电富余时，DC2将电能存储起来，随后策略性地释放电能以满足高电价时段的需求。此外，需求响应计划主要集中在电价高峰和用电高峰时段。在满足服务质量和工作负载总量约束的前提下，数据中心将需求响应时段
的用电需求进行时空迁移，从而获取需求响应收益。

在图3（c）中，DC3得益于地理优势，可再生能源发电丰富。在低电价时段，燃气轮机以最小输出功率运行，少量购买的电能被存储起来。在需求响应时段，大量工作负载从其他数据中心迁入DC3。在保障自身服务质量的同时，DC3提高燃气轮机出力并释放储能中的电能来为迁入的负荷供电。在此过程中，可再生能源得到了充分消纳。

数据中心的灵活性来源于服务器开机数量的调整和工作负载的时空调度。图4给出了工作负载的调度结果，大于0为迁入量，小于0为迁出量。一方面，DC1在满足总任务需求和服务质量约束的前提下，将需求响应时段的工作负载延迟至其他时段处理。另一方面，DC1将需求进行空间转移，将08：00—12：00和15：00—19：00时段的需求部分转移到DC3处理，将15：00时刻的需求部分转移到DC2处理，从而保证了有效响应的收益。同理，
DC2也将部分需求转移到DC3处理。DC3收到大量迁入的计算需求，多数据中心之间资源互补和共享，有利于消纳可再生能源高峰出力，实现资源的最大化利用。

3.4

碳排放分析

为了全面评估数据中心的减排潜力，本文设置考虑碳交易与否的对比实验。

表2展示了碳交易对碳排放总量及各项成本的潜在影响。不考虑碳交易时，数据中心为了获得更多的需求响应收益和更少的运行成本，向配电网购买大量电能。这意味着数据中心将来自配电网燃煤机组的碳排放纳入自身的碳足迹中，在一定程度上阻碍了绿色发展。而碳交易机制的本质是使碳排放更加昂贵，诱导数据中心使用更少化石燃料。在碳交易机制的影响下，数据中心的能源消费结构发生改变，碳排放量普遍下降。此外，数据中心运行的总体经济优势可能会受到碳交易成本的负面影响，这是其兼顾经济性和低碳性的结果。在整个调度周期结束时，考虑碳交易的碳排放量（12806.99kgCO2
）
比无碳交易的（13253.81kgCO2
）降低3.37%。因此，将碳交易成本纳入模型中进行优化，可以促进碳排放量的减少，推动数据中心绿色发展。

体经济优势可能会受到碳交易成本的负面影响，这是其兼顾经济性和低碳性的结果。在整个调度周期结束时，考虑碳交易的碳排放量（12806.99kgCO2
）
比无碳交易的（13253.81kgCO2
）降低3.37%。因此，将碳交易成本纳入模型中进行优化，可以促进碳排放量的减少，推动数据中心绿色发展。

3.5

租户满意度灵敏度分析

数据中心参与需求响应的目的是在不损害租户满意度的前提下追求更高的效益。因此，本节分析不同满意度比例系数αsc下数据中心的总成本变化情况。本文设置αsc
从0.70逐渐增大到1.00，步长为0.05，租户满意度灵敏度分析结果如图5所示。可
见，随着比例系数增大，租户满意度逐渐提升，同时，
数据中心总成本也逐渐增加。在αsc从0.70上升至0.80的过程中，满意度处于较低水平，数据中心利用工作负载的时空可调特性在需求响应中获得显著收益，进一步降低了总成本。在αsc从0.80上升至1.00的过程中，数据中心在调度时需要尽可能保持租户原有的计算习惯，以保持较高的满意度水平，从需求响应中获得的红利也在不断减少。

此外，从长远发展来看，如果一个数据中心重视租户计算体验，能够给租户提供一定程度的需求响应自主权，使租户满意度处于较高水平。在这种情况下，租户则会继续选择该运营商合作其业务，数据中心将会因时空可调度负荷的增加而提高灵活性，
进而提高其在市场中的竞争力，从而带来潜在的经济价值。因此，数据中心在制定调度计划时不能一
味地追求经济性，还需要充分尊重租户意愿，根据不同租户的响应偏好设置比例系数，在一定程度上保证租户的服务体验。

4

结语

由于传统能源短缺和环境污染等因素的影响，
绿色、低碳和可持续发展已经成为国际社会的共识。本文聚焦于数据中心的高能耗、高成本和高排放问题，建立基于工作负载时空调度特性的数据中心优化调度模型，实现多数据中心的协同运行。充分利用地域分布的可再生能源互补特性和工作负载在空间和时域调度的灵活性，实现数据中心负荷与可再生能源的优化匹配，在一定程度上降低数据中心能耗水平并提升经济性。同时，引入碳市场中的碳交易机制，降低互联多数据中心的碳排放总量。

本文的工作还存在一定的局限性。数据中心服务器散发的大量余热未得到充分利用，仅考虑基于电力的网络，缺少考虑其他形式的能源（例如热、冷和气）。因此，在未来的工作中可以进一步开发耦合多能源的数据中心。

来源：电力系统自动化

作者：文淅宇，朱继忠，李盛林，董瀚江