绿色数据中心 Green Data Proposal

一、 前言 :

 一直以来，数据中心的存在为我们的工作和生活带来了便利，但对数据中心拥有者而言，维持运行数据中心正常运行所需的庞大能源开支一直让他们感到苦恼。比如，按照一般标准来算，以一个2000机柜、单机柜平均6KW 18000平方米的数据中心峰值散热需求量计算、其数据中心的每平方米能耗约为1000瓦 ～ 1150瓦/平方米，这个能耗相当于一栋80000平方米的商务大楼的需求量。在数据中心运营商里，运营负责人认为目前他们最关心的话题便是如何节约更多的电能消耗，政府也从宏观层面要求数据中心的绿色节能，工信部官员在公开场合表示，我国运营商数据中心年耗电量高达200亿度左右。它反映了目前所有数据中心的发展需求。
相对来说，数据中心的设备采购、场地购买等成本属于一次性的硬成本，而其中的设备所消耗的能源成本则是持续增加的变化成本，如果不能对数据中心的绿色节能进行系统、战略层面的规划，那么它将成为数据中心用户心中永远持续的痛楚。
在新经济新常态下，新型基础设施建设是推动中国经济转型升级的重要抓手，也是数据中心运营商用发展促增长的重点方向。而对于协创数据而言，为"新基建”的落地保驾护航， 是对企业使命"最大限度挖掘数字连接价值,造福人类社会”的最佳实践。
数据中心作为推动数字经济发展的算力基础设施和重要支撑， 数据中心承担了数据存储、数据流通的关键职能，在十三届全国人大三次会议上， 更是以”新基建”的名义被写入《2020年国务院政府工作报告》。但数据中心仍需在节能减排方面继续做出努力——因此数据中心的绿色改造之路不容忽视。

二、绿色数据中心 :

随着"新基建”的全力推进，更多以IDC数据中心为基础设施的需求将不断扩大，对于数据中心运营商来说无疑是有利的，然而机会的背后必然也蕴含着更大的挑战。所以，建设“新基建”时代的IDC数据中心, 一是要解决老问题，二是要满足新需求。传统数据中心仍存在着建设周期长、能源消耗大、运维管理难等诸多问题。具体来说，体现在如下3个方面：
一. 传统数据中心建设从立项到投入使用，整个周期通常需要至少1年时间，并且受制于技术和环境因素，建设完成后不易于后期扩容，一旦无法满足新的需求又将经历 一轮漫长的建设周期，且不说费时耗力，市场需求的响应也会因此大打折扣；
二. 投入使用后，随即产生的OPEX （运营成本）是所有IDC数据中心投资方最关心的问题之一，关系到最终的投资回报。而OPEX中占比最多的就是电力支出，相关数据显示 IDC数据中心项目电力成本约占OPEX 60%,能耗问题不容忽视。
三. 整个IDC数据中心生命周期中最长的时期是运维阶段，也是IDC数据中心真正获得价值回报 的阶段，至关重要。如今越来越庞杂的IT基础设施，传统IDC数据中心依赖人工运维的方式无疑是粗放和低效的，在用户体验方面存在极大风险。
在传统的IDC数据中心，客户为了确保最大化的运行时间，不得不频繁进行冗余电源的基础设施建设，仅这项费用每年就高达数百万美元。除了服务器、存储、网络等设备自身的耗电量在逐年增加外（这些IT设备的数量在每年因业务扩展而增加，同时这些设备的性能不断提升也导致单机耗电量增加），为确保IDC数据中心拥有适合的温度，使得IT设备能够正常运行，空调制冷等设备的耗电量也在以惊人速度上升，往往在没有经过绿色节能改进的绿色IDC数据中心里，空调制冷设备温度都被调得很低，以确保IDC数据中心散热最大的IT设备区域温度下降到适宜数值，这样的话，散热量一般的区域温度就会更低，白白浪费了电能。有数据显示，在IDC数据中心所耗费的电量中，将近50%的电能被用来空调制冷。

由此可见，对IDC数据中心的绿色节能调整已经到了刻不容缓的时刻。第三方调研公司数据预测，如果不对数据中心进行节能调整，那么在未来5年内，超过90%的企业会因遭遇电源可用性限制而导致数据中心运行的中断﹔会有25%的数据中心因此产生严重的业务中断。
　　IDC数据中心已意识到这个问题，并开始了积极的探索。例如IDC数据中心越来越注意通过各种方式降低能源使用，涵盖范围可从他们部署的产品/系统到太阳能电池板、专用小型电厂等各种方法的“现场”发电。
　惠普HP在爱尔兰东北部开放了首个风冷型数据中心——Wynyard数据中心，利用爱尔兰北海上吹拂的冰川风来降低IT设备和机房的温度。除了每年近400万美元的功率节省以外，该数据中心还通过收集雨水来帮助控制湿度。
百度Buidu 全球首例采用市电直供，HVDC offline（高压直流离线）供电架构，CAPEX 节省80%，供电效率由90%左右提升至99.5%，做到了极致。
IDC数据中心冷冻站通过板式换热系统，实现极致水侧免费冷却，华北地区全年超过94%的时间可利用室外自然冷源免费冷却。
　IDC数据中心采用AHU （Air Handle Unit）风墙冷却技术，通过与高温耐腐蚀服务器配合，采用全新气流组织方案，解决了空气污染及腐蚀难题，全年100%实现风侧免费冷却。
为实现绿色数据中心，光有节能产品远远不够。还需要通过各种办法，能够实时监控数据中心整体环境的能耗变化对数据中心环境温度的智能控制，并根据监控结果进行调整，降低能源消耗。
　　对国内数据中心来说，上述有些办法暂时无法实现，比如在海边，利用冰川来风代替部分电能来降低温度。但是我们可采取一些更容易做到的办法，从多个角度来改造绿色的数据中心。

三、绿色数据中心整体方案说明 :

"新基建”对于IDC数据中心的新需求，目前来看主要体现在规模和弹性需求的满足。总的来说，无论是老问题，还是新需求，建设融合、稳定、弹性及绿色的IDC数据中心是大势所趋。

作者Danny Chen 以多年数据中心的经验，特提出绿色IDC数据中心全生命管理方案、以IDC数据中心全生命周期作为绿色IDC数据中心的整体思维、从IDC数据中心的设计角度出发、同时藉由先进且可靠的技术手段与产品选择，保障IDC数据中心工程实施、交付的可靠性、并以大量的调试、密集的集成系统测试(IST)及IDC数据中心的可靠运维、来实现IDC数据中心的高永续性和高能源效率。
打造一个属于“新基建”时代的IDC数据中心既需要底层性能卓越的产品承载，也需要顶层设计进行合理的牵引。绿色IDC数据中心全生命管理方案，即"顶层设计”和“底层承载”的结合，经过“自 上而下”、“自下而上”的合理统筹，提供面向绿色IDC数据中心全生命周期的端到端解决方案服务、并藉由绿色IDC数据中心全生命管理方案促使IDC数据中心业务运转的融合和稳定基础、同时提供IDC数据中心业务效能的弹性基础。
作者Danny Chen 绿色IDC数据中心全生命管理方案是通过深入洞察客户需求的一体化服务解决方案、以绿色IDC数据中心设计为核心，针对数据中心生命周期各个阶段提供相应服务解决方案，包括咨询、设计、实施、调测、验证、评估优化、运维等服务内容，旨在助力打造快速部署、绿色节能、 高效运维的智能化数据中心。　
作者Danny Chen 绿色IDC数据中心全生命管理方案能为IDC数据中心提供两个层面的规划服务：
一. 针对现有IDC数据中心的调整规划服务，例如通过现场调研、测绘服务帮IDC数据中心了解能耗盲区，确定如何调整IDC数据中心能耗降低PUE来达到绿色IDC数据中心的要求，同时可释放出更多可对外租用的机柜电力与空间位置。IDC数据中心能耗评估服务能帮助用户掌握更有效的方法利用现有资源，对IDC数据中心物理环境优化，提高机柜内设备的安装密度，提升IDC数据中心IT设备的安装容量与降低IDC数据中心能耗。
作者Danny Chen 绿色IDC数据中心全生命管理方案并非只从单一角度、单一设备出发，这可避免只在一些配套设施上考虑了节能，但是并没有从根本上解决数据中心能耗消耗大的现状的问题。

二. 针对IDC数据中心从无到有的新建规划服务。例如通过IDC数据中心整体方案规划、IDC数据中心设计、IDC数据中心关键设施确保等三个阶段出发，循序渐进地从IDC数据中心机柜数量、机柜密度、IDC数据中心选址、期望值，到实例化工程文件、分析成本，最后测试可用性等等。它会兼顾机电、空调、安全性、硬件设备等数据中心所包括的所有方面。
对绿色IDC数据中心、无论是调整规划的改造新建的整体方案规划，都涉及到很多方面，这属于一个系统工程、因此在每一方面必须有IDC数据中心整体系统的思维与IDC数据中心实际运维的经验，同时借助业界已成熟技术、产品及创新的技术能力，才能实现IDC数据中心绿色节能的最大化。这不但能大幅降低IDC数据中心自身的能耗，节省宝贵现金流，而且还能降低碳排放，造福你我的生活环境。

四、绿色数据中心整体方案实施策略 :

 绿色IDC数据中心全生命管理方案能为IDC数据中心提供两个层面的规划服务：

一. 现有IDC数据中心的调整规划服务 :
(1). 系统性整体解决方案。
(2). 遵循PDCA管理原则的五阶段性的系统解决方案。
(2-1). 前期服务阶段 : 现场调研、能耗盘查、基线量测。
(2-2). 协议服务阶段 : 实施方案、节能数据确认。
(2-3). 实施服务阶段 : 现场实施、安装调整。
(2-4). 运行服务阶段 : 运行维护管理、 持续优化、定期巡检。
(2-5). 永续服务阶段 : 节能咨询 、设备咨询 、调整咨询。
二. 新建IDC数据中心从的规划服务 :
五、绿色数据中心主要技术方案介绍 :

(1). 预制式微模块集成技术及产品 :
(1-1). 适用范围与节能指标 :
适用范围： 主要节能减排指标 :
新建数据中心 / 在用数据中心改造 与传统数据中心相比：
(1). 可节电约 15%；
(2). PUE 可达到 1.4 以下。
(1-2). 主要技术原理：
在模块内集成了机架系统、供配电系统、监控管理系统、制冷系统、综合布线系统、防雷接地系统和消防系统等数据中心各核心部件。可通过工厂预制保证现场交付质量与进度。具有界面清晰，建设简单特点，可根据需求分期部署。

(2). 蒸发冷却式冷水机组
(2-1). 适用范围与节能指标 :
适用范围： 主要节能减排指标 :
新建数据中心 / 在用数据中心改造 能效比（COP）：≥15；
(1). 与传统的水冷式冷水机组相比，可以节电 15%以上，节水 50%以上；
(2). 与风冷式冷水机组相比，节能 35%以上。
(2-2). 主要技术原理：
通过蒸发冷却和闭式冷却水塔相结合的方式，充分利用空气流动及水的蒸发潜热冷却压缩机制冷剂，实现对自然冷源的充分利用。

(3). 磁悬浮变频离心式冷水机组 :
(3-1). 适用范围与节能指标 :
适用范围： 主要节能减排指标 :
新建数据中心 与常规变频离心机组及螺杆机组相比，可节电约10%-15%。
(3-2). 主要技术原理：
磁悬浮压缩机采用电机直接驱动转子，电子转轴和叶轮组件通过数字控制的磁轴承在旋转过程中悬浮运转，在不产生磨损且完全无油运行情况下实现制冷功能。

(4). 氟泵多联循环自然冷却技术及机组
(4-1). 适用范围与节能指标 :
适用范围： 主要节能减排指标 :
新建数据中心/在用数据中心改造 全年能效比（AEER）：整机可大于 8.5。
(4-2). 主要技术原理：
低温季节，压缩机停止运行，制冷剂通过制冷剂泵在室外和室内进行循环，将冷量带入室内。过渡季节压缩机与制冷剂泵一起使用，最大限度地利用自然冷源。在高温季节，开启压缩机制冷模式。

(5). 制冷系统智能控制系统
(5-1). 适用范围与节能指标 :
适用范围： 主要节能减排指标 :
新建数据中心/在用数据中心改造 系统节能率可达15%～50%
(5-2). 主要技术原理：
通过各类数字技术采集制冷系统各部分运行参数，利用智能技术对数据进行分析诊断，结合制冷需求给出最优控制算法，使制冷系统综合能效最高。

(6). 热管冷却技术及空调
(6-1). 适用范围与节能指标 :
适用范围： 主要节能减排指标 :
新建数据中心/在用数据中心改造 与传统数据中心相比、系统节能率可达30%与传统空调系统相比，可节电约30%
(6-2). 主要技术原理：
通过小温差驱动热管系统内部工质形成自适应的动态气液相变循环，把数据中心内 IT 设备的热量带到室外，实现室内外无动力、自适应平衡的冷量传输。具体实现有热管背板、热管列间空调等形式，具有系统安全性高、空间利用率高、换热效率高、可扩展性强、末端 PUE 值低、可维护性好等特点。

(7). 冷板式液冷服务器散热系统
(7-1). 适用范围与节能指标 :
适用范围： 主要节能减排指标 :
新建数据中心/在用数据中心改造 (1). 风扇功耗可降低60%-70%，
(2). 空调系统能耗可降低 80%（北方地区）；(3). 与传统数据中心相比、PUE 值低于 1.2
(7-2). 主要技术原理：
由 CDM 中输出制冷剂，由竖直分液器送入机箱，由水平分液器送入服务器中。通过液冷板等高效热传导部件，将被冷却对象的热量传递到冷媒中。

(8). 整机柜服务器技术
(8-1). 适用范围与节能指标 :
适用范围： 主要节能减排指标 :
新建数据中心 (1). 散热效能提升70%，整体系统能效可提高约10%-20%。
(2). 与传统数据中心相比、PUE 值低于 1.2
(8-2). 主要技术原理：
以机柜为单位采用模块化设计，集中电源进行供电，集中风扇墙进行集中散热，集中管理模块进行智能管理。模块化设计更有利于大规模数据中心交付和运维，所有服务器节点、电源、风扇和管理模块等都可以单独进行维护，无需停机。

(9). 冷板式液冷服务器
(9-1). 适用范围与节能指标 :
适用范围： 主要节能减排指标 :
新建数据中心 (1). 与同等配置的风冷服务器相比，服务器可节电46.8%。
(2). 与传统数据中心相比、PUE 值低于 1.1
(9-2). 主要技术原理：新建数据中心
利用液体作为中间热量传输的媒介，通过液冷板等高效热传导部件将芯片热量传递到冷媒中。可有效解决中高密度服务器的散热问题，降低冷却系统能耗且降低噪声。

(10). 其他集成技术及方案 :
(10-1). 绿色IDC数据中心節能一體化方案。
(a). CFD机房气流模拟 、分析热点、气流分析、节能改善分析。
(b). 地板泄漏防漏处理 、机柜泄漏防漏处理 。
©. 封冷或封热通道 、高架地板下方空调风道 。
(d). 平衡送风气流、改善热点 、降低空调无效负载 。
(e). 压缩机、泵浦、风扇马达变频节能 、系统平衡与智能控制 。
(f). 适当之新风导入、降低空调负载 、新风焓差降温系统、降低空调负载。
(g). 供电质量量测与改善 、UPS转换效率量测与改善。
(h). 节能监控系统 。
(10-2). 适度调高数据中心的温度。
节能最简单的方法就是调高数据中心温度调节装置的温度。通常数据中心的温度会设定为20℃ (68℉) 或者更低，这种温度从逻辑上能延长设备的寿命并让用户在制冷设备发生故障时有更多的时间做出反馈。
经验显示服务器硬件发生故障时，特别是硬盘故障时，确实会增加系统操作的温度。但是在最近今年里，发现服务器运行成本超过了采购成本。这可能会让保留硬件还不如削减运营成本更来得实际。
在2019年召开的Green Net大会上，谷歌Google公司能源负责人Bill Weihl介绍了谷歌Google提高数据中心温度的经验，Weihl称26.6℃ (80℉)作为一个新设定值是可以安全使用的，但数据中心需要满足一个简单的先决条件：尽可能将冷空气流和热空气流分开，如果需要的话，使用窗帘或者固体屏障。
虽然26.6℃ (80℉)是一种安全的温度升级，微软Microsoft 公司的经验显示你可以将温度调的更高。微软 Microsoft 都柏林和爱尔兰的数据中心以“制冷不足”的模式运营，使用免费的外部空气制冷，服务器入口的温度约为32.2℃ (90℉) 。但是请注意当你提高温度时，由于本身提高能耗所需的服务器风扇转速变得更高，所以会出现回报衰减。
百度Baidu 自主研发的“北极”（天蝎）整机柜服务器，采用共享电源、共享风扇架构，部件全部标准化、模块化、一体化，支持40℃ (104℉)环境温度长期运行。总拥有成本（TCO）降低15%。
(10-3). 采取因地制宜的冷却措施、清洁能源、水回收与热量回收。
(10-3-1). 使用免费的外部空气进行制冷。
根据数据中心所在地的资源优势进行冷却方式的优化。如谷歌创新地使用运河水、雨水制冷、在芬兰使用海水，在美国东南部使用雨水和循环水，在比利时使用工业运河水来满足数据中心的散热需求。
充用利用机房楼顶空间，清洁的太阳能光伏直接并网发电技术，即发即用，在节能的同时还极大减少污染物排放。

(10-3-2). 使用水回收再利用。
百度 Baidu 独创的数据中心污水回收再利用技术，冷却水系统节水率为44.8%，数据中心园区年均节水量可达到48万吨。
(10-3-3). 使用数据中心热量来为办公区域制热。

(10-4). 服务器的优化。
(10-4-1). 关闭没有使用的服务器
(10-4-2). 定制服务器，减少服务器内部的不必要组件，只留下高性能的计算部件。
(10-4-3). 通过独特的 Borg 系统，实现了资源的动态分布。
(10-4-4). 重视灵活性与适应性，保证弹性扩展潜力并支持OCP的机架标准。
(10-4-5). 服务器的芯片级水冷技术。

(10-5). 推进循环经济体系
绿色数据中心可持续发展战略的另一个要点是建立循环经济体系。2019年 谷歌Google即发表可持续发展战略的第三个要点建立循环经济体系，实现零垃圾填埋目标。目前谷歌 Google 已经将其建设运营产生的废物的垃圾填埋场掩埋率降低到了9%。意味着谷歌Google生态链中产生的所有废物中只有9％（无论是来自建设还是运营中的废物）需要填埋。
而谷歌Google取得如此优异掩埋率的秘诀可以总结为以下四点：
(1). 持续维护设备，尽量的延长其使用寿命。
(2). 重复使用设备，为已经不适用于某一服务的设备找到合适的场景进行二次利用。
(3). 尽量利用回收组件制造新服务器，谷歌Google2018年用于机器升级的组件有19％来源于
库存翻新。
(4). 退役设备转售，当找不到设备的新用途时，谷歌Google会擦除所有存储数据的组件，然
后再转售它们。在2018年，谷歌Google向二手市场转售了近350万个单位，以供其他
组织再利用。

六、绿色数据中心冷却系统设计思路与高效技术分析 :

 IDC数据中心受上架率影响，全国在用超大型IDC数据中心平均运行PUE1.75，协创数据以多年实务经验，特提出以下高效冷却系统设计思路与八种高效冷却系统技术分析 : 

(1). 高效冷却系统设计思路 :
合理选择冷源方案 → 合理规划气流组织 → 提高自然冷利用效率 → 优化空调系统设计
(2). 八种高效冷却系统技术分析 :
(2-1). 水冷冷冻水系统-高压离心冷水主机
系统采用水冷主机压缩机制冷和冷却塔间接利用自然冷源相结合的方式，形式为“水冷主机+水泵+板式换热器+冷却塔”，需设置单独的制冷机房，其管路系统和维护均比较复杂。
系统特点如下：
（a）系统效率较高；
（b）主机容量大，特别是采用离心式冷水主机；
（c）系统庞大，控制、调节、维护难度大；
（d）需要占用一定面积的制冷机房；
（e）在严寒或寒冷地区，冬季冷却塔易结冰；
（f）水质对空调系统影响较大，水处理费用高；
（g）技术成熟，投资相对较低。

(2-2). 水冷冷冻水系统-磁悬浮冷水主机
磁悬浮压缩机采用电机直接驱动转子，电子转轴和叶轮组件通过数字控制的磁轴承在旋转过程中悬浮运转，在不产生磨损且完全无油运行情况下实现制冷功能。
磁悬浮冷水主机主要体现在部分负载的高效率性能。
(2-3). 蒸发冷凝冷水机组
自然冷源复合型双冷高效冷水机组，采用双冷源的方式，脱离单一的压缩制冷方式，在制冷过程中主要利用免费自然冷源进行制冷，所以能耗更低。
(2-4). 模块多联蒸发冷却热管制冷空调系统
基于蒸发冷却原理、热管换热原理与多联机形式、模块化理念相结合的全年高效制冷系统。
系统特点
(a). 热管系统、压缩制冷系统叠加；
(b). 自然冷源利用优先，压缩制冷进行冷量补充或冷量备份；
©. 室外温度30℃以下即可利用自然冷却；
(d). 主机AEER（全年能效）＞17（标准机组）；
(e). 主机AEER（全年能效）＞20（蒸发冷却机组）；
(f). 全氟系统,无水进机房，无需防冻；
(g). 自然冷源利用时间长，能效比高；
(h). 模块化、定制化建设方案，实现不同空调末端超级多联；
(i). 系统简单，维护方便；
(2-5). 热管与机械制冷的叠加制冷空调系统

(a). 蒸发式热管二级预冷系统利用的基本原理是重力热管换热，是利用室内、外温差将室内热量交换到室外，从而降低室内温度的系统设备。热管换热系统利用循环工质的气液相变来传递热量，通过特殊的管路联接，将蒸发段和冷凝段分离开来。即室内机为该系统的吸热端，冷凝器为其放热端。室内机中的工质在机房内吸热蒸发变为气态，经过气管流入冷凝器，并在冷凝器内放热冷凝为液态，然后通过液管回到室内机继续吸热蒸发。
(b). 室内蒸发器采用墙式蒸发器，也就是热管冷墙，室外机采用蒸发冷式冷凝器。
©. 热量传输是无源运行，无运动部件，零能耗，故障率极低。
(d). 压缩机系统在超长管路时，会有极大的管路流阻和压降损失。但热管系统的所有压降，最终体现在重力高度差是否能克服系统全部动压损失的前提下，实现制冷剂循环，高差越大，对系统运行越有利。
(2-6). 间接蒸发冷却空调机组制冷空调系统
间接蒸发冷却指的是：通过在室外空气侧喷水，水在室外空气侧的换热板片上蒸发冷却，从而冷却循环风侧的温度，在整个冷却过程中，室外风侧与循风侧均不产生直接接触。
间接蒸发冷却全空气系统，利用室外自然冷源冷却数据中心循环风，有效降低了空调运行费用
(2-7). 蒸发冷却冷水机组制冷空调系统
(a). 风冷冷凝器与冷却塔结合散热
(b). 取消冷冻主机机房，设备置于屋顶
©. 带自然冷却功能，充分利用自然冷源
(2-8). 间接蒸发冷却冷水机组制冷空调系统
(a). 系统组成：主要由蒸发冷却冷水机组、压缩机冷水主机（补冷）、冷冻水泵、空调末端、阀门、水管、等组成。
(b). 系统原理：利用空气的干湿球温度差，输出高温的冷冻（却）水，以得到较低的供冷温度（亚湿球温度）和较大的供冷量，当极端高温高湿时，出水温度不满足要求时，开启冷水主机补冷。
©. 系统特点：
(c-1). 系统耗水量较少。
(c-2). 夏季极端气温，空调制冷主机无宕机风险（湿工况）。
(c-3). 冬季极端气温，空调系统无结冰风险。
(c-4). 空调能效较高，全年时长99%自然冷却，
运行费用较低。
(c-5). 系统相对集中，便于维护。