云计算数据中心（二）

---

三、绿色节能技术

  针对云计算数据中心的特点，从数据中心的配电系统、空调系统、管理系统的节能策略和算法，以及新能源应用等方面分析云计算数据中心的节能技术，并对典型的绿色节能云计算数据中心进行介绍。

（一）配电系统节能技术

  电力是数据中心的驱动力，稳定可靠的配电系统是保障数据中心持续运转的最重要的因素。在传统数据中心里，为了保证网络、服务器等设备稳定运行，通常使用UPS (Un-interruptible Power Supply) 系统稳定供电，在外部供电线路出现异常时，使用电池系统过渡到后备的油机发电系统，实现数据中心的可靠性和稳定性。

  但是，传统的UPS不间断供电系统存在的问题。
  （1）转换级数过多，结构复杂。供电架构复杂且难以维护。
  （2）由于UPS系统进行了多级转换，因此其自身也消耗了大量的电能。UPS自身所带来的热量还会进一步增加空调系统的负载。
  综合考虑UPS系统自身的效率和服务器自身的电源模块效率，传统数据中心配电系统的效率一般低于77%，因此云计算数据中心如何改善配电系统的效率成为一个重要的问题。目前常见的两个方案是高压直流配电和市电直供配电。

1. 高压直流配电技术

  随着将交流电 (如AC380V) 直接转换成240V直流电源 (即高压直流UPS) 技术的出现，目前一些数据中心开始采用240V直流供电架构。由于绝大多数服务器电源模块能够兼容220V交流和240V直流，因此现存服务器节点无须任何修改即可支持。直流电源一般采用模块化设计，而且蓄电池直接挂240V直流母线连接服务器电源无须逆变环节，可靠性也高于交流UPS。另外，240V直流UPS在转换级数上比交流UPS少一级，因此实际运行效率通常在92%以上，再综合240V到12V的直流电压转换，整个配电系统的效率可以提高到约81%。
  除此以外，还有一种更加优化的高压直流供电架构。该架构仍然使用240V直流UPS系统，但是将每台服务器节点自身的交流电源模块去除，采用机架集中式电源PSU (Power Supply Unit) 供电。机架式电源能够将240V直流电直接转化为12V直流电，并直接连接至服务器主板。另外，机架电源采用热插拔模块设计，可维护性和更换效率得到提高。机架式电源将传统的集中供电分散到每个机架，可靠性较传统UPS有很大提高，能够更好地适应云计算业务场景。这种架构的配电原理如图所示，由于去除了服务器节点的交流电源系统，因而在效率方面有了更大的提升，在实际测试中，这种配电系统的效率可以提高到85.5%左右。

2. 市电直供配电技术

  除了高压直流配电技术，另一种得到应用的高效节能配电技术是市电直供配电技术。例如，Google在某数据中心取消UPS系统，使用市电直连服务器，服务器内置12V电池以支撑到油机启动，避免服务器断电；Facebook使用一路市电直供服务器，一路48V直流电源作为备份电源。这些架构能够将配电系统的损耗进一步降低，国外的互联网公司对此进行了大量的研究与实践，从国内来看，阿里巴巴也借鉴这种先进的市电直供配电架构，在其数据中心里进行了成功的实践，如图所示。

  在市电正常时，交流输入模块经过一级直流PFC电路将220V交流电升高到400V的直流电，再经过降压变换电路将400V的直流转换成12V的直流供给服务器主板，逆变模块将400V直流转换为220V交流供给交换机使用。在市电异常时，由240V的蓄电池供电，直流输入模块经过一级升压电路将240V直流升至400V直流，再经过降压变换电路将400V的直流转换成12V的直流供给服务器主板，逆变模块将400V直流转换为220V交流供给交换机使用。当市电恢复正常或油机启动后电源会自动由蓄电池直流供电切换到交流供电状态，切换由电源模块自身完成，整个过程无缝切换保证了输出不间断。
  市电直供电源保留了机架式电源支持热插拔的模块化设计，也采用机架分散供电的方式，同样适合云数据中心的特点，即模块化扩容、高效率、高可用性和高可维护性。 采用市电直供方案，其最大的特点在于最大化减少配电系统的转换环节，从市电到服务器12V主板只经过两级电路转换，整个配电系统的综合效率能够达到92%左右，与传统数据中心配电和高压直流配电技术相比，具有较为明显的优势。

（二）空调系统节能技术

  在数据中心运行过程中，服务器节点、网络设备、办公环境等时刻产生着热量，如果不能及时散发热量，数据中心将无法运行。数据中心常见散热环节如图所示。
  空调系统是目前大部分数据中心必须具备的基础设施，它能够保证数据中心具备合适的温湿度，从而保障数据中心IT设施平稳运行，避免发生故障或损坏设备。同时， 由于空调系统自身也需要消耗电力，因此如何提高空调系统运行效率，甚至如何使用自然冷空调系统，成为数据中心节能方面一个热点话题。
  在传统数据中心里，空调系统主要针对机房内整体温湿度控制需求，基本方法是先冷却机房环境再冷却IT设备。机房空调的设计流程一般是先核算机房内的建筑负载和IT设备负载，选择机房的温湿度指标，然后再根据机房的状况，匹配一定的气流组织方式 (如风道上送风、地板下送风等)。机房专用空调设备一般会集成制冷系统、加湿系统、除湿系统、电加热系统，同时辅助以复杂的逻辑和控制系统。传统数据中心空调系统效率通常较低，采用指标能效利用系数PUE (Power Usage Effectiveness, PUE=1+ (配电损耗+空调功耗+其他损耗)/IT功耗) 核算，PUE一般在2.0以上，除了使用传统UPS损耗和散热影响外，空调系统就是主要的原因，主要体现在数据中心中冷热通道不分、机架密封不严密造的冷热混流、过度制冷、空调能效比不高、空调气流组织不佳等。

  与传统数据中心不同，云计算数据中心空调系统的核心理念是注重IT设备的温湿度要求，高效解决区域化的制冷，是机架级别甚至是IT设备级别的制冷解决方案，而非着眼机房环境温湿度控制。在云计算时代，IT设备在适应温湿度方面变得更强壮，目前的通用服务器设计标准为35℃进风温度，某些服务器还针对高温以及较差环境下进行优化设计，在40℃~45℃进风温度下能运行数小时，被称为高温服务器。
  IT设备的优化工作直接导致了数据中心空调温湿度标准的改变。ASHRAE (美国暖通空调协会) 在其2008年版标准中，数据中心的温湿度推荐标准：温度范围为18℃~27℃，湿度范围为40RH%~70RH%；而在2011年的推荐标准中，温度范围扩展为10℃~35℃，湿度范围扩大到20RH%~80RH%。

1. 高温回风空调系统

  根据不同出水温度下的制冷和能耗，对应的出水温度（即空调回风温度）提高1℃，空调系统约节能3%。目前的云计算数据中心中，冷冻水空调设计已经从常规的7℃供水12℃回水温度提高到10℃供水15℃回水温度，甚至更高，对应的冷通道温度或者服务器进风温度在23℃~27℃，空调系统节能明显。

2. 低能耗加湿系统

  将纯净的水直接喷洒在多孔介质或者空气中，形成颗粒极小的水雾，由送风气流送出。整个加湿过程无需电能加热水，仅需水泵和风机能耗，取代了传统的将水加热成蒸汽、电能耗较大的红外加湿系统或电极式加湿器系统。

3. 自然冷空调系统

  使用室外自然冷风直接带走机房的IT设备的散热，减少了机械制冷系统中最大的压缩耗能环节，压缩机制冷系统的EER由2~3.5提高到10~15，节能空间巨大。

  新风自然冷空调系统是将外面的空气经过滤处理后直接引入机房内以冷却IT设备。新风自然冷系统有着若于关键设计，以上图中经典的Facebook在美国自建的新风自然冷系统为例，有以下关键设计。
  （1）低温和降温风系统：选择具有较长时间低于IT设备进风温度要求 (如27℃) 的地区，以含较少硫氮化合物的空气为佳，使用送风系统送风至数据中心内。在温度较高的季节，可以使用水喷淋蒸发降温或者机械压缩制冷系统来降温；在室外低温季节，直接将室外新风引入机房，可能引起机房凝露，因此系统会将部分回风混合进入的低温新风，保证送风温度符合IT设备的需求，避免凝露。
  （2）新风过滤系统：在室外进风口处使用防雨百叶，并使用可经常更换维护的粗效过滤器，除掉较大污染物颗粒，在新风与回风混合之后，使用中效和亚高效滤网二次过滤，以保证进入数据中心的空气达到相关的洁净度要求。
  （3）气流组织：新风送风系统一般会选择高效气流组织设计，如地板下送风、冷热通道密封等隔绝冷热气流的措施。不同于常规数据中心的是，新风自然冷系统中，热风需要排放室外或部分回风需要返回新风入口处，排风和部分回风系统需要做好匹配，保证机房整个静压，避免回风倒流入机房。
  （4）智能控制：新风自然冷系统其本身也相当于智能的机房恒温恒湿空调，而且更复杂，涵盖了温湿度、压力、风量等参数探测，运动部件驱动，阀门切换和各种逻辑编程等。这个系统的一些关键部分在于监控室外温湿度进行逻辑判断是否可使用，控制阀门调节新风进入量、回风混合量、排风量，根据送风的温湿度调整喷淋水量和风机转速，还要考虑室内静压情况调整送风排风量等。

（三）集装箱数据中心节能技术

  将数据中心的服务器设备、网络设备、空调设备、供电设备等高密度地装入固定尺寸的集装箱中，使其成为数据中心的标准构建模块，进而通过若干集装箱模块网络和电力的互连互通构建完整的数据中心。目前，集装箱数据中心已经得到广泛应用，例如Microsoft芝加哥数据中心、Google俄勒冈州Dalles数据中心、Amazon俄勒冈州Perdix数据中心；相关的集装箱数据中心模块化产品解决方案也层出不穷，例如微软拖车式集装箱数据中心、Active Power集装箱数据中心、SGI ICE Cube、惠普“金刚”集装箱数据中心、浪潮云海集装箱数据中心SmartCloud、华为赛门铁克Oceanspace DCS、曙光CloudBase、世纪互联云立方等等。

  集装箱数据中心的特点包括以下几个方面。
  （1）高密度。集装箱数据中心模块可容纳高密度计算设备，相同空间内可容纳六倍于传统数据中心的机柜数量。
  （2）模块化。建立一个最优的数据中心生态系统，具有恰如所需的供电、冷却和计算能力等。
  （3）按需快速部署。集装箱数据中心不需要企业再经过空间租用、土地申请、机房建设、硬件部署等周期，可大大缩短部署周期。
  （4）移动便携。集装箱数据中心的安装非常容易，只需要提供电源连接、水源连接（用于冷却）和数据连接即可。

  从绿色节能的角度看，集装箱数据中心也采用了诸多良好的设计提高数据中心的能效比。
  （1）缩短送风距离。由于集装箱空间较为密闭，因此可以将空调盘管安装到服务器顶部，缩短送风距离，减少了送风过程中的冷量损失。
  （2）提高冷通道温度。冷通道温度提高 (如24℃) 后，可升高盘管供/回水温度，减少压缩机工作时间，提高冷水机组工作效率，达到节能环保的效果。
  （3）冷/热通道完全隔离。隔离冷/热通道，可以防止冷热空气混合，增大进出风温差，从而提高盘管制冷能力。
  （4）隔热保温材料。在集装箱内外涂隔热保温涂料，可以做到冬季不结露，夏季冷量不外泄。
  （5）Free Cooling功能。集装箱数据中心模块可以使用Free Cooling，减少压缩机工作时间，提高能源利用效率。

  除此以外，由于集装箱数据中心不需要工作人员进驻办公，因此在正常运转过程中可以完全关闭照明电源，从而节省了电力。
  在采用各种节能设计后，集装箱数据中心模块能够取得较好的PUE。例如，SGI的集装箱式数据中心模块的PUE最低可以达到1.05，华为赛门铁克OceanSpace DCS的PUE也能够达到1.25左右。

（四）数据中心节能策略和算法研究

1. DVFS节能技术

  主要思想是：当CPU未被完全利用时，通过降低CPU的供电电压和时钟频率主动降低CPU性能，这样可以带来立方数量级的动态能耗降低，并且不会对性能产生影响。
  DVFS的目的在于降低执行能耗，由于CMOS电路动态功率中功率与电压频率成正比，降低CPU电压或频率可以降低CPU的执行功率。但是，这类方法的缺点在于降低CPU的电压或频率之后，CPU的性能也会随之降低。

2. 基于虚拟化的节能技术

  虚拟化是云计算中的关键技术之一，它允许在一个主机上创建多个虚拟机，因此减少了硬件资源的使用数量，改进了资源利用率。虚拟化不仅可以使得共享相同计算节点的应用之间实现性能的隔离，而且还可以利用动态或离线迁移技术实现虚拟机在节点之间的迁移，进而实现节点的动态负载合并，从而转换闲置节点为节能模式。

3. 基于主机关闭/开启的节能技术

  基于主机关闭/开启技术的节能策略可以分为随机式策略、超时式策略和预测式策略三类。随机策略将服务器的关闭/开启时机视为一个随机优化模型，利用随机决策模型设计控制算法。超时式策略预先设置一系列超时阈值，若持续空闲时间超过阈值，就将服务器切换到关闭模式，同时，阈值可以固定不变，也可以随系统负载自适应调整。预测式策略在初始阶段就对本次空闲时间进行预测，一旦预测值足够大，就直接切换到关闭模式。三类策略的目标均是最大限度地降低空闲能耗，而缺点在于当计算机启动时间较长时，会导致性能一定程度上降低。

4. 其他节能技术

  冷却系统约占云数据中心总能耗的40%，计算资源的高速运行导致设备温度升高， 温度过高不仅会降低数据系统的可靠性，而且会减少设备的生命周期。因此，必须对云数据中心的冷却设备降温，有效地减少冷却的能量，这对云数据中心的稳定运行和节省电量都有重要的意义。

（五）新能源的应用

  绿色和平组织（GreenPeace）定义实现绿色 IT 的方式是：高能效加新能源。为了减少能耗开销和碳排放量以实现绿色计算，充分利用新能源才是根本途径。

  为了给出标准的方法来评价数据中心的碳强度，绿色网络组织Green Grid采用碳使用效率（Carbon Usage Effectiveness, CUE）表示每千瓦时用电产生的碳排放密集程序。

  在数据中心部署使用新能源有就地 (on-site) 电站和离站 (off-site) 电厂两种方式。就地新能源发电厂生产的电力可直接为数据中心供能，例如Facebook建在俄勒冈州的太阳能数据中心，其优势在于几乎没有电力传输和配送损失，但是位置最好的数据中心 (土地价格、水电价格、网络带宽、可用的劳动力、税收等因素) 并不一定具有最佳的资源来部署就地新能源电站。另一种模式就是将新能源电厂建设在具有丰富资源 (如风速大或日照强) 的离站地区，然后通过电网将新能源产生的电力传送到需要用电的数据中心，尽管这种方式具有较大的传输损失和电网传送、存储的费用，但是其电产量更大，而且选址更灵活。由于新能源的不稳定性，上述两种方式均需要采用储能设备来缓解“产量/供应”与“消费/需求”之间的不匹配，因此相应的储能开销 (购买费用和管理储能费用) 也被纳入当前的权衡考虑之中。
  目前关于新能源在数据中心应用的研究主要是考虑风能和太阳能。据统计，风能和太阳能分别占全球非水能新能源产量的62%和13%。由于风能和太阳能发电量与环境条件紧密相关，如风速和日照强度，因此可用电量是不稳定、随时间变化的。相应地，它们的容量因子也远低于传统电厂 (容量因子是指实际产出与最大的额定产出的比值)。 由于有稳定的化石燃料供应，传统电厂的容量因子可达80%甚至更高。依据年平均风速的不同，风能的容量因子在20%~45%。风能发电的开销主要是前期的安装部署开销， 其资金支出占据了生命周期总开销的75%。
  新能源最主要的优点就是一旦建设好电厂就可以源源不断地提供电能，而且管理费用较低，运营过程中不会排放碳等污染物质。尽管在生产、传输、安装、设备回收利用过程中也会产生碳污染，但是与传统电网的碳排放因子585gCO${}_2$e/kWh相比，风能 (29gCO${}_2$e/kWh) 和太阳能 (53gCO${}_2$e/kWh) 的碳排放因子仍然低得多。

（六）典型的绿色节能数据中心

  2006年ChristianBelady提出了数据中心能源利用率（PUE）的概念，如今，PUE已发展成为一个全球性的数据中心能耗标准。

  全球最节能的 5 个数据中心如下。

1. 雅虎“鸡窝”式数据中心 (PUE=1.08)

  雅虎在纽约洛克波特的数据中心，位于纽约州北部不远的尼亚加拉大瀑布，每幢建筑看上去就像一个巨大的鸡窝，该建筑本身就是一个空气处理程序，整个建筑是为了更好地“呼吸”，有一个很大的天窗和阻尼器来控制气流。

2. Facebook数据中心 (PUE=1.15)

  Facebook的数据中心采用新的配电设计，免除了传统的数据中心不间断电源 (UPS) 和配电单元 (PDUs)，把数据中心的UPS和电池备份功能转移到机柜，每个服务器电力供应增加了一个12V的电池。Facebook使用自然冷却策略，利用新鲜空气而不是凉水冷却服务器。

3. 谷歌比利时数据中心 (PUE=1.16)

  谷歌比利时数据中心没有冷却装置，完全依靠纯自然冷却，即用数据中心外面的新鲜空气来支持冷却系统。比利时的气候几乎可以全年支持免费的冷却，平均每年只有7天气温不符合免费冷却系统的要求。夏季布鲁塞尔最高气温达到66~71华氏度 (19℃~22℃)，然而谷歌数据中心的温度超过80华氏度 (27℃)。

4. 惠普英国温耶德数据中心 (PUE=1.16)

  惠普英国温耶德数据中心利用来自北海的凉爽的海风进行冷却，不仅仅是使用外部空气保持服务器的冷却，而且进行气流创新，使用较低楼层作为整个楼层的冷却设施。

5. 微软都柏林数据中心 (PUE=1.25)

  微软爱尔兰都柏林数据中心，采用创新设计的“免费冷却”系统，使用外部空气冷却数据中心和服务器，同时采用热通道控制，以控制服务器空间内的工作温度。

  下面，以Facebook数据中心为例，说明具体的节能措施。
  位于俄勒冈州普林维尔 (Prineville) 的Facebook数据中心，是Facebook自行建造的首个数据中心，俄勒冈州凉爽、干燥的气候是Facebook决定将其数据中心放在普利维尔的关键因素。过去50年来，普利维尔的温度从未超过105华氏度 (约40.56℃)。
  Facebook在瑞典北部城镇吕勒奥也新建了一个数据中心，该数据中心是Facebook在美国本土之外建立的第一座数据中心，也是Facebook在欧洲最大的数据中心。由于可以依赖地区电网，Facebook数据中心使用的备用发电机比美国少了70%,这也是一大优势。自1979年以来，当地的高压电线还没有中断过一次。吕勒奥背靠吕勒河，建有瑞典最大的几座水电站。吕勒奥位于波罗的海北岸，距离北极圈只有100km之遥，当地的气候因素是Facebook选择在吕勒奥建立数据中心的重要原因之一。由于众多的服务器会产生十分大的热量，将数据中心选址在寒冷地区有助于降低电费和用于制冷系统的开支。
  Facebook采纳了双层架构，将服务器和制冷设备分开，允许对服务器占地面积的最大利用。Facebook选择通过数据中心的上半部分管理制冷供应，因此冷空气可以从顶部进入服务器空间，利用冷空气下降热空气上升的自然循环，避免使用气压实现下送风。
  空气通过在二楼的一组换气扇进入数据中心。然后空气经过一个混调室，在这里冷空气可以和服务器的余热混合以调整温度。然后冷空气经过一系列的空气过滤器，在最后一间过滤室，通过小型喷头进一步控制温度和湿度。空气继续通过另一个过滤器，吸收水雾，然后通过一个风扇墙，将空气通过地板的开口吹入服务器区域。整个冷却系统都位于二楼，空气直接吹向服务器，无须风道，如图所示。

  冷空气然后进入定制的机架，这些机架三个一组，每组包括30个1.5U的Facebook服务器。为了避免浪费，服务器也是定制的，服务器内部的英特尔和AMD主板被分拆成一些基本的必需部件，以节省成本。机箱体积比一般机箱大，这意味着能够容下更大的散热器和风扇，也意味着需要更少的外界空气用于降温。
  Facebook数据中心采用定制的供电设备，可以适用277V交流电源，而不是普通的208V，这使得电能可以直接接入服务器，不需要经过交流到直流的转换，从而避免了电能损耗。每组服务器之间放置一套UPS，独特的电源与UPS一体化设计，使得电池可以直接给电源供电，在断电时提供后备电源，如图所示。