南方地区数据中心节能架构设计——以深圳地区为例

摘 要：大数据、云计算、5G等信息技术快速发展，数据中心的建设需求增加。能耗、能效是数据中心建设和运营的核心要点，也是制约数据中心行业发展的关键因素。围绕影响数据中心能耗的主要因素，从数据中心供电、制冷等角度深入分析了数据中心的耗能特点；以深圳地区气象参数为例，系统性地阐述了南方地区的三种不同系统节能架构的数据中心的应用特点与实际节能情况。

关键词：数据中心；冷水机组；南方地区；节能架构

      随着数据中心建设规模与数量的不断增加，消耗的能源量剧增。我国在节能与环保方面对数据中心建设提出了更高的要求，鼓励低电能利用效率(PUE)值数据中心的建设，北京、上海、深圳等城市均提出数据中心PUE的限制方案。根据南方地区数据中心的节能现状，介绍常见的节能架构，以深圳地区为例分析节能架构的实际情况。

1 南方地区数据中心节能现状

    深圳地区全年湿球温度小时数分布统计如表1所示。

    华南地区高温多雨，夏长冬暖，具有高温高湿的特点。与北方地区相比，华南地区对自然冷源的利用难度较大。深圳地区全年湿球温度小于17℃的时间仅为2244h。通过合理设计数据中心系统的架构和设备选型，提升自然冷源的利用，降低数据中心能耗，是当前的主要研究方向。

2 南方地区常见节能架构

  2.1 影响数据中心能耗的因素

      数据中心的能耗因素包括系统设计、产品选型以及IT设备、空调系统、变压器、不间断电源(UPS)等设备的运行状况。根据IT设备的实际负荷选择UPS容量，避免因UPS效率过低而产生较大的能耗，选择更加节能的高频UPS、优化UPS拓扑结构均可以实现节能效果，如应用一路市电+一路UPS结构。某数据中心第二季度的能耗分布如图1所示。除了IT设备能耗，暖通系统和配电系统的能耗占数据中心总电耗的1/3。其中，空调系统能耗是影响机房总能耗的关键指标[1]。每个数据中心的空调能耗存在很大差异，合理设计空调方案可以降低能耗和PUE值。因此，选取三种常见基础设施架构进行建模，分析基础设施架构及设备选型对数据中心能耗的影响。

图1 某数据中心第二季度的能耗分布

  2.2 三种常见的节能架构

      以主流基础设施架构与配置为基本思路，以深圳地区的气象参数为基准，建立三种数据中心节能架构，每种架构均由配电系统架构和暖通系统架构组成。供配电系统的能量消耗主要为配电损耗，占比较小，非主要影响因素，供配电系统的节能方案比较单一，配电架构统一采用符合《数据中心设计规范》（GB 50174-2017）的A级、Uptime T4及金融行业要求的节能架构。

      暖通系统的制冷方式较多，依据数据中心常用的集中制冷、分散制冷以及冷水循环温度对数据中心的影响，采用三种常用暖通架构系统。构建三种数据中心的节能架构，配电系统架构均以市电、发电机组、高低压、变压器、UPS、机房末端配电装置容错配置；架构一、架构二、架构三的暖通系统架构分别采用集中式空调冷水系统+间接蒸发冷却冷水机组、间接式蒸发冷却空调（AHU）和房间级高效风冷精密空调。

    2.2.1 配电系统架构思路及主设备选型

      配电架构框架如图2所示。设备性能参数的选取对能耗量具有较大影响，应在配置架构时确定设备参数。不同额定容量的干式变压器的性能参数如表2所示。

    （1）变压器主要配置2000kVA和2500kVA的干式变压器，选取SCB13型干式变压器参数[2]。

    （2）UPS选型选用高频机，根据厂家提供的试验报告，UPS效率按照96.6%、ECO模式按照98.5%选取。不同负载率的UPS效率如表3所示。

    配电架构也可以采用模块化高频机UPS系统。UPS负载率较低时，可以采用休眠技术提高UPS的负载率，使UPS运行在高效率区间[3]。

    2.2.2 暖通系统架构思路

    考虑集中制冷、分散制冷以及冷水循环温度对数据中心能耗的影响，采用三种可利用自然冷源的高效节能暖通架构。

    （1）集中式空调冷水系统+间接蒸发冷却冷水机组。

      架构一方案的组成设备包含磁悬浮水冷冷水机组、板式换热器、冷却水泵、间接蒸发冷却冷水机组、冷却塔、冷冻水泵、定压补水装置、加压装置、蓄冷水罐、末端空调机组等。其中，间接蒸发冷却冷水机组由初效过滤段、间接换热段、间接换热喷淋段、二次排风段、喷淋填料段、一次排风段组成，利用空气的干湿球温度差，输出高温冷水，从而获得较低的供冷温度（亚湿球温度）和较大的供冷量。间接蒸发冷却冷水机组结构如图3所示。

    通暖系统由冷冻水系统和冷却水系统组成，按照冷水主机和间接蒸发冷水机组的开启情况，系统具有完全机械制冷模式、部分自然冷却模式、完全自然冷却共三种模式。

    a.完全机械制冷模式：常规冷却塔工作，冷却出水不经过板式换热器，直接进入冷水主机，冷水主机承担机房冷负荷。

    b.部分自然冷却模式：间接蒸发塔、板换、冷水主机同时运行，间接蒸发冷却机组的低温出水先与机房高温冷冻回水换热，再进入冷水主机。

    c.完全自然冷却模式：磁悬浮冷水主机不启动，蒸发冷却冷水机组的低温冷水经过板换换热，带走机房热量。

    间接蒸发冷却和机械制冷耦合采用并联混合模式，如图4所示。

    （2）间接式蒸发冷却空调（AHU）。

    架构二方案组成设备主要包含空气-空气换热芯体组件、DX系统、水喷淋蒸发冷却组件、送风机组件、排风机组件、风过滤组件、补水排水/水处理组件及智控制系统等。送风机N+1、排风机N+1、水泵1+1均冗余设计。

    AHU工作原理如图 5 所示。IT机房回风经过机组的空-空换热器，与室外低温空气间接换热后被送入机房。

    间接式蒸发冷却空调(AHU)根据水吸热蒸发原理，采用间接蒸发冷却技术和机械制冷辅助的方式获取冷风。间接蒸发冷却系统主要采用自然冷却方式，将机械制冷作为补充，机组运行模式包括即干工况模式、湿工况模式和湿工况混合模式。

    a.工况模式：天气寒冷时，室内外空气在换热芯体处进行换热，以提供足够的冷量。干工况模式原理如图6所示。

    b. 湿工况模式：室内外温差不足以提供自然冷却冷量时，利用水在空气中蒸发降低温度，为冷却系统提供足够的冷量。此时，制冷系统采用蒸发冷却+高效换热的运行模式。湿工况模式原理如图7所示。

    c. 湿工况混合模式：天气炎热时，自然冷却无法满足制冷需求，开启变频压缩制冷系统补充冷量。湿工况混合模式原理如图8所示。

（3）高效风冷空调。

    架构三方案机组为风冷单冷源系统（压缩机制冷系统），与风冷精密空调相比，系统配置了高效变容量压缩机和EC高效直流风机。与普通风冷空调相比，高效风冷空调采用EVV电子膨胀阀，能够自动调节制冷剂流量，提高盘管换热效率，高效风冷空调配备了精确能效管理系统，配合封闭冷通道实现精确送风，提高了空调能效。

    2.2.3 暖通系统主设备选型

    （1）选择制冷量为3165kW的磁悬浮与普通离心式冷水机组，记录其在不同负载率时的COP值，为COP1，架构一使用的机组在不同负载率时的COP值为COP2。不同冷水机组在不同负载率下的能效值对比如表 4 所示。

不同负载率时，磁悬浮离心机组的COP值均比普通离心机组高11%~31%，能够节约10.0%~23.7%的能耗量[4]。建模选用制冷量为3165kW的磁悬浮冷机，机组的冷冻供、回水温度分别为17℃、23℃，机组负载率为88.1%。磁悬浮冷机不同工况下的能效比如表5所示。

与普通冷却塔相比，蒸发冷却冷水机组将冷却水出水降低至湿球温度以下，可以大幅度地提高南方地区的自然冷源可利用时间。构架一合理搭配磁悬浮主机、板换以及间接蒸发冷却冷水机组，更大程度地利用了自然冷源，提高了暖通系统效率。建模时选用制冷量为900kW的间接蒸发冷却冷水机组。间接蒸发冷却冷水机组不同工况下的能效比如表6所示。

    （2）采用间接式蒸发冷却空调(AHU)时，大部分低PUE能耗的数据中心均采用了封闭冷或热通道的气流组织结构。采用封闭冷通道的机房的设计回风温度通常为30~35℃，部分采用封闭热通道的机房的设计回风温度甚至大于40℃，远高于室外的全年平均湿球温度。因此，间接式蒸发冷却空调(AHU)几乎全年都可以利用到自然冷源，达到节能效果。

    同一系列的DX系统空调的能效基本相同，而间接式蒸发冷却空调（含DX 系统）全年均可以利用自然冷源，能效高于同容量的风冷空调。建模主要采用210kW，空调送、回风温度为21℃、34℃，间接式蒸发冷却空调的运行工况参数如表7所示。

    （3）与普通风冷空调相比，高效风冷空调采用EVV电子膨胀阀，能够自动调节制冷剂流量，提高盘管换热效率。普通风冷空调与高效风冷空调的能效值对比如表8所示。高效空调明显具有更高的空调能效值。本次建模主要采用100kW高效风冷空调。

3 三种架构对比分析

    为了方便对比分析，三种系统架构设置相同的基础条件为：全局用电容量约20000kVA；供电系统标准为Uptime T4容错；单机柜功率5kW（需要系数0.9）；暖通系统的标准为Uptime T3，可以同时在线维护；末端空调送回风温差为13℃；过渡季节正常制冷；线损按照总负载的1%估算；规划供电、供水系统时，尽量靠近负荷中心，降低配电线路和供水线路的损耗。

  3.1 三种架构PUE比较

    通过对三种架构进行CAD建模，完成机房的平面布局及设备配置情况并统计数据。机房设备配置统计如表9所示。三种架构模式下的PUE因子统计如表10所示。

    由表10可知，采用构架一水冷集中制冷方式的节能效果最佳。除了空调系统，配电及其他系统的PUE因子为0.0618~0.0644，主要为不间断电源、变压器及线缆损耗耗能，改善配电系统PUE因子的主要方法为降低电源系统的效率；分析制冷设备的PUE因子，占主要影响的是空调能耗，因此数据中心节能架构主要在空调架构及空调设备选型。

    配电系统的节能方法主要为降低配电设备的损耗。如果客户允许，可以采用市电直供+UPS/HVDC供电方案，利用市电直供减少HVDC或UPS损耗，与传统的双路UPS/HVDC供电方案相比，部分使用市电直供方案可以减少一路HVDC或UPS的损耗。客户接受的条件下，UPS系统可以采用节能模式(ESS)运行，ESS与ECO模式不同，可以被应用至并机系统，效率提升到98.5%[3]。除了构架及设备选型，服务器可以接受情况下，根据冷水主机、泵等设备的性能调整空调系统的运行模式，通过实现变频控制、提高冷冻水供回水温度、降低冷水主机冷却水进水温度、提高空调回风温度等方法降低系统能耗。

  3.2 三种架构优缺点分析

  （1）磁悬浮水冷冷水机组+间接蒸发冷却冷水机组。南方地区气候炎热，广东地区的全年湿球温度高，采用集中式空调水系统架构的数据中心的能效最佳，是目前大型数据机房中心普遍采用的方案。

    磁悬浮水冷冷水机组的运行负荷范围较广，在负载率低至10%时仍可正常运行，能够匹配数据中心投产初期的IT设备上架率低、业务负载不足等情况，提高机房初期运行的稳定性；间接蒸发冷却水冷机组增加了自然冷源的利用率，湿球温度低于17℃时，通过板换实现无压缩机工作供冷，改善空调系统的PUE占比。但磁悬浮冷机模式也存在不足：

    a.初投资成本高、占地面积大。与常规冷却塔相比，间接蒸发冷却冷水机组的占地面积更大，价格更高；额定制冷量相同时，磁悬浮水冷冷水机组的价格比传统离心冷水主机高30%~60%；系统增加了板式换热器，会占用冷冻站空间。

    b.系统运行控制模式复杂，对运维人员的管理要求提高。系统涉及间接蒸发冷却冷水机组和磁悬浮冷机的耦合运行，过渡季节频繁切换会增加运维管理负担，增加运行风险。

    c.系统实际运行效率低于预期。根据历史气象数据，深圳全年湿球温度低于17℃时，仅依靠间接蒸发冷却冷水机组担机房冷负荷；实际运行过程中，一日内的温度波动较大，会造成冷水主机频繁启停，影响设备寿命，对机房稳定性造成影响。根据安全第一的原则，运维人员需要增加冷水主机的运行时间（提前开启，延迟关闭）。因此，机械制冷的时间常大于设计时间。

    d.磁悬浮压缩机采用磁悬浮轴承技术，精度很高，发生故障后的维修难度大。

  （2）与其他两种构架相比，间接蒸发冷却空调(AHU)在自然冷源利用时长方面具有绝对优势。集中式空调冷水系统采用分散制冷方式，可以降低空调系统故障后的业务影响范围；充分利用自然冷源，干球温度低于18℃或湿球温度低于20℃使用时，系统可以实现免费供冷，降低空调能耗；自然冷源无法满足负荷需求时，系统可以在1~2min内快速启动，补充所需冷量。制冷耗水方面，与传统水系统相比，精细化控制系统的用水量节省50%。数据中心建设方面，基于模块化、预支化部署，设备可以实现快速安装，分批次投入运行，从而实现快速交付。AHU方式也存在一些不足：

    a.单机组的空间需求大，最低安装高度为5m、长度8m，机组间距不小于1m，适用于地价便宜、土地面积空旷的区域，适用于1~2层建筑。

    b.多层建筑机组堆叠排列的方式容易造成气流短路，下层排出饱和高温热气流进入上层换热通道，会降低机组运行效率。

    c.日常维护、保养难度大。室内空间不足且需在楼外搭建支架时，受到维护空间限制，投产后的维护和更换配件等操作的难度提升。

  （3）基于常规风冷空调系统升级得到高效风冷空调，通过提升压缩机的变频控制和精确的送风控制，实现产品的能效提升。与方案1和方案2相比，高效风冷空调的设备相对简单，技术方案成熟，后期运维难度低。设备无须耗水，满足不希望水进入机房的行业要求，能够极大地降低系统在缺水地区的运行风险；空调采用分散制冷，可以降低空调系统故障后的影响范围。但是自然冷源的利用低，机房全年制冷负载系数(CLF)高于前两种方案。单台空调制冷量一般较小，适用于建筑面积较小的数据中心，不适用单层建筑面积过大的建筑。

4 结语

    虽然南方地区对自然冷却技术的利用不多，但随着业界对数据中心能耗的高度关注，通过获取自然冷源降低数据中心能耗的相关技术发展迅猛，近端制冷、液冷等新技术已经发展成为当前数据中心的热点技术，并在数据中心建设中取得了较广泛的应用。结合不同的业务场景、机柜功率密度分布及用户需求，数据中心运营商可以因地制宜选择适合的节能技术，以达到目标的PUE要求，有效降低数据中心的运营成本。

作者：窦海波 盛廷军 杨宜楠 魏熙德 陈琼环

参考文献

[1] 程亨达，陈焕新，邵双全，等.数据中心冷却系统的综合COP评价［J］.制冷学报，2020，41（6）：77-84.

[2] 孟宪章、罗晓梅，10/0.4 kV变配电实用技术［M］.北京：机械工业出版社，2009.

[3] 刘宝庆.现代通信电源技术及应用［M］.北京：人民邮电出版社，2012.

[4] 彭殿贞.绿色数据中心空调设计［M］.北京：中国建筑工业出版社，2015.

来源：数据中心运营管理