4. 2 数据中心的基本单元-服务器
一个完整的数据中心包括支撑系统、计算机设备和信息服务这三个逻辑部分。支撑系统主要是由电力设备、环境调节设备和监控设备组成,计算机设备包括服务器、存储设备和网络设备,这些设备运行着上层的信息服务。从中可以看到,服务器是数据中心服务的主要载体,同时与存储设备和网络设备相连,是数据中心的基本单元。
服务器(Server) 是指运行操作系统、数据库系统、Web系统等软件系统,为网络上其他终端提供服务的硬件设备。即从广义上讲,服务器是指网络中能对其他机器提供某些服务的计算机系统(如果一个PC 对外提供FTP服务,也可以称之为服务器); 从狭义上讲,服务器是专指某些高性能计算机,能通过网络对外提供服务。服务器通常都会采购专用的CPU,与PC相比,服务器有更高标准的主板和电源、以及专用的带纠错功能的高速内存(ECC 内存)和专用的硬盘(SAS硬盘、FC硬盘、SSD硬盘)。
目前常见的服务器从基础构架上分为使用RISC (精简指令集)CPU的专用服务器和使用CISC (复杂指令集)CPU 的通用服务器。专用服务器主要用于对浮点运算性能较高的应用场景,如中型机和小型机,也就是大家经常听说的高性能机。目前大多数数据中心通常采用的是通用服务器,如Intel公司的Xeon系列和AMD公司的 Opteron 系列服务器。由于Xeon和Opteron
与PC机的 CPU 都使用了 X86 架构,使用的都是 CISC 指令集,所以这类服务器通常被称为X86服务器。
X86服器可从机箱结构和外形、结点密度、支持的CPU数量和用途进行分类。
- 按机箱结构和外形分类:塔式服务器、机架式服务器;
- 按结点密度分类:单结点服务器、多结点(高密度)服务器;
- 按支持的CPU数量分类:单路服务器、双路服务器、4路服务器、8路服务器、16路服务器、32路服务器。
4)按功能分类:文件服务器、数据库服务器、邮件服务器、Web服务器、DNS服务器等。
下面分别对这四种分类方式进行详细的讲解。
-
按机箱结构和外形分类
(1) 塔式服务器
塔式服务器的外形如图所示,塔式服务器机箱从体积上可以分为全塔式、中塔式、mini 塔式,塔式服务器占用的体积比较大,通常数据中心或云计算中心不采用塔式服务器。
(2) 机架式服务器
对于建设费用高昂的数据中心来说,数据中心空间利用率非常重要,塔式服务器的空间利用率较低,不适合用于数据中心,于是机架式服务器应运而生,如图所示。
机架式服务器采用了与交换机一样的长方体结构,美国电子工业协会(U. S. Energy Information Administration, EIA) 制定了统一的标准尺寸,标准宽度(两端上架孔距)固定为470mm, 标准深度为650mm, 在高度方面,EIA推出了一个专用计量单位"U” (Unit 的缩略语)。1U=1. 75 英寸=44. 5mm.机架式服务器在高度上分为1U/2U/3U等。后面要讲到的刀片式服务器(刀片机)也属于机架式服务器。
-
按结点密度分类
结点密度是单台服务器内置的独立系统单元数目,即单台服务器内置的主板数目。内置一个系统单元的服务器称为单结点服务器,单结点服务器是平时最常见的服务器类型;内置两个系统单元的服务器称为双结点服务器,通常被称为“双子星”服务器。以此类推还有“四子星”“八子星”等,结点密度一般为偶数。
单台服务器的密度在四结点及以上的,又被称作高密度服务器。刀片机也是高密度服务器的一种,相比"四子星”和“八子星”等高密度服务器。刀片机在电源模块和网络模块等万面拥有更高的集成密度,目前主流的刀片机可达7U/14刀及以上的密度。
如图分别是双子星服务器、四子星服务器、十八子星服务器、刀片式服务
器(7U/14刀)。
-
按支持的 CPU数量分类
服务器所指的“单路”或者“双路”是指单台服务器的主板上所能支持安装 CPU 的数量,一般为偶数个CPU协同工作,用以得到更高的单机(单元)计算性能。
只支持一颗CPU的服务器称为单路服务器;支持两颗CPU的服务器称为双路服务器:支持四颗 CPU的服务器称为四路服务器;双路及以上的服务器统称为多路服务器。如图4-14~图4-16为单路服务器、双路服务器、四路服务器。
4、按功能分类
为了让服务器提供各种不同的服务,实现各种不同的功能,因此服务器按功能可以划分为文件服务器、数据库服务器、邮件服务器、Web服务器、DNS服务器等。
- 文件服务器是以文件数据共享为目标。它的特点是将供多台计算机共享的文件存放于一台计算机中,这台计算机就被称为文件服务器,如 Windows Server 2003 文件服务器。
- 数据库服务器是安装了不同的数据库软件,提供不同的数据库服务的服务器被称为数据库服务器,如Oracle 数据库服务器、MySQL 数据库服务器、SQL Server 数据库服务器等。
- 邮件服务器对企业用户来说也很重要。提供邮件功能的服务器被称为邮件服务器。它们通常安装的软件包括 WebEasyMail、Sendmail, Postfix、Qmail、Exchange等。
- Web服务器是网络服务器的一种,其用途是提供 Web 网页服务,如基于Apache、等系统搭建的服务器。
5)DNS服务器,提供城名服务的服务器称为DNS服务器,通过DNS服务器,可以实现域名服务的查询、应答。
4. 3 数据中心选址
数据中心的选址是数据中心建设的早期重要工作,数据中心的使用年限往往会超过20 年,数据中心的建设、运行、维护涉及对于地质条件、气候环境、电力供给、网络带室、人力资源等条件,需要综合考虑以下诸多因素。
地质环境:大型数据中心在选址的时候一般倾向选择建设在地质条件比较稳定,地震、沉降等自然灾害较少的地区,减少自然灾害等不可抗力对数据中心运行的影响概率。
起候条件:气候条件对于数据中心的建设、运行成本有直接影响,建设在寒冷地区的数据中心与建设在炎热地区的数据中心相比,用于制冷的电力成本大幅降低,同时其制冷系统的建设级别和造价相对较低。Google 在比利时、芬兰等寒冷地区建设了自己的数据中心。尤其是建设在比利时的数据中心基本全年性地采用无须制冷剂的自由冷却方式对数据中心讲行降
温,制冷系统造价和电力成本非常低。
电力供给:数据中心是电力消耗的大户,在美国,数据中心的能耗已经占美国全国用电量的1. 5%: 早在2012年全球数据中心的总能耗就已超过300亿瓦,相当于30座核电然的发电量:单个数据中心的能耗已经上升到千万瓦的级别。所以数据中心在选址时必须要考虑当地的电力供应能力和电力成本。
网络带宽:网络带宽是数据中心为用户提供服务的核心资源,网络带宽直接影响用户的请求响应及时性,是数据中心选址考虑的重要因素,需要选择网络带宽条件较好的骨干网结点城市,
水源条件:目前先进的数据中心的冷却系统经常采用水冷系统进行蒸发冷却,用水量巨大,如微软公司的圣安东尼奥数据中心每年需要消耗38万吨水用于制冷,所以数据中心选址时需要考虑当地的水源供给情况。
人力资源:数据中心在选址时需要选择在能够提供必要的数据中心的建设、维护、运营等人力的地区。
以 Google 的数据中心选址为例,Google一般会选择在电力成本低廉、绿色能源丰富、水资源丰富、地域开阔、与其他数据中心距离合理的地方来新建数据中心。Google 数据中心的服务器数量占全球服务器总量的3%, 但只消耗了全球数据中心1%的电力,可再生能源的使用量占其总电力消耗的近30%, 这得益于Google 的数据中心节能环保技术。Google 将数据中
心的冷通道温度保持在27℃, 并使用外部空气冷却其数据中心,而不是使用耗能的冷却系统。Google 的服务器都是由其自行设计,减少不需要的组件,减少不必要的部件能耗,减少风扇数量,从而提高了能源使用效率。
4. 4 数据中心的能耗
本章前面部分提到,数据中心的硬件部分由机柜、服务器、网络设备、网络安全设备、存储设备、灾备设备等组成,数据中心的能耗控制可以分为数据中心级、结点级、器件级,如图4-17所示。
数据中心级:从较为宏观的数据中心级别来看,制冷系统所消耗的能源占数据中心总体能耗的比重较大,制冷系统的规划和性能对于数据中心整体能耗的影响很大。
结点级:结点级的能耗控制主要在于根据结点的负载状况动态调整处于工作状态的结点数量。
器件级:CPU、内存、硬盘等器件的能耗主要通过调整工作电压和频率的方式来控制。
4. 4. 1 数据中心能耗评估
数据中心的能耗通常是通过PUE、DCIE、IT 设备能效比等参数来进行评估。
- PUE
PUE (Power Usage Effectiveness, 电源使用效率)由美国绿色网格联盟(The Green Grid) 于2007年提出,是业界公认的测量数据中心能耗的主要指标之一,其定义如下:
PUE=数据中心整体能耗/设备能耗
IT 设备的能耗为数据中心计算、存储、网络等核心设备的总能耗,包含服务器、网络没备、存储设备等;数据中心整体能耗为IT设备能耗、制冷设备能耗、电源能耗、控制仪表等设备的能耗总和。
PUE 值表示数据中心的总能耗为IT设备能耗的倍数,其值越小表示用于数据中心计算、存储等核心设备的运行的能耗比例越大,数据中心的能源效率越高。如,PUE=3时,数据中心总能耗为 IT 设备能耗的3倍,服务器等IT设备每消耗1度电,空调等其他设备就要消耗2度电,数据中心总体能效较低;当PUE=1时,数据中心的所有电能都用于IT设备的运行,没有其他的能量损耗,是PUE的理论最小值。
Google 公司拥有数以百万计的庞大服务器集群,其数据中心建设采用一系列先进的建设技术,从2008 年首次开始统计报告PUE 数据以来,Google 的数据中心其全年平均PUE值为1. 12, 最优值为1. 06, 远优于全球PUE的平均值1. 8-1. 89.我国的数据中心PUE值相对较高,全国数据中心PUE平均值为2. 5, 百度M1云计算中心的 PUE 值最低,全年平均值为1. 35, 最优值为1. 18, 是国内能效最高的数据中心之一。
以下为计算数据中心能耗的例子。
数据中心入有100个机柜,每个机柜有5台2U/18刀的刀片式服务器,运行时总功率为500w. IT设备功率250kW, 该数据中心的PUE-500/250-2。
数据中心B由200个机柜,每个机柜有6台机架式 2U/4 刀的机架式服务器,运行时功率为700kW, IT设备功率为300kW, 该数据中心的PUE-700/300-2.33。
以上例子表明数据中心A的PUE值低于数据中心B, 说明数据中心A的能效更高。 - DCIE
IF (Data Center Infrastructure Efficiency, 数据中心基础设施效率)是数据中心能耗评估一公认指标,是由美国绿色网格联题于2007年提出,用于表示数据中心IT设备用电占总用电量的比例,其定义如下:
DCIE=IT设备能耗\数据中心整体能耗 CIE &PUE的倒数,其数值小于1, 越接近于1表明数据中心能源用于IT设备的比例越高,数据中心的能源效率越高。 - IT设备的能效比
工设备自身的能效也是数据中心能效的一个重要指标,其定义如下:
IT设备每秒的数据处理流量\IT设备的能耗
这里的IT设备指的是服务器、存储等设备,IT设备的能效比越高IT设备每消耗单位电能所能处理、存储和交换的数据量越大;执行相同的计算、存储、通信任务IT设备的能效比越高消耗的能量就越低,设备与周围环境的热交换就越少,这样可以降低数据中心 UPS 和空调系统的设计容量,进一步降低数据中心的能耗,提高数据中心的能效。
4. 4. 2 数据中心的主要节能措施
随着新一代数据中心建设浪潮的兴起,数据中心机房里服务器的密度越来越高、数量越来越大,电力消耗和散热能力正在成为数据中心重点关注的问题,数据中心所消耗的电力以及要冷却数据中心各种设备产生的热量的电力消耗都达到了越来越高的水平。电力的巨大消耗带来各种严峻问题,巨额的电力成本会让数据中心运营的整体成本上升,并且,相对而言在一段时期内任何一个数据中心的电力供给都是有限的,在日益倡导绿色环保的低碳时代,降低数据中心的能耗极为必要。
在保证数据中心基础设施稳定运行的同时又能显著减少电力消耗与电力成本的方法有以下这些。
- 服务器虚拟化
服务器的电力消耗占整个数据中心电力消耗的一半左右,虚拟化技术让一台物理服务器可以运行多个虚拟主机,这让单独服务器的计算资源可以被多个环境共享,通过调整服务器的负载,可以让计算资源得到充分利用。降低二氧化碳排放量,降低管理和运营成本。
服务器虚拟化技术降低成本的效果是非常明显的,平均来说,以一个月为周期,和应用多台服务器的非虚拟化站点相比,应用虚拟化技术的服务器站点在数据流量、能耗、受攻击威胁和总体运营成本上只有前者的10%. - 采用现代化冷却系统
供热通风与空气调节系统(Heating Ventilation and Air Conditioning, HVAC) 系统通常是数据中心第二大耗电系统, Data Center Users Group 估计,HVAC系统消耗的电能占数据中心能源消耗的37%.面对大规模的数据中心的冷却任务,多数传统的冷却系统无法最优化处理,冷却效率非常低。采用现代化、模块化和更高效的组件楼代一些传统空调设备进行冷却处理可以节约大量电能。在气候条件允许的情况下,采用类似用外部冷空气替代电力系统来进行冷却的方式,将可以有效节约电能。 - 重组数据中心
数据中心的数量和规模近些年来增长迅速,而很多数据中心中的服务器则被随处安装,非常缺乏计划性。这导致了数据中心的发热与散热不均,超载的IT环境也很难保证冷却系统的最优化运行。
对数据中心服务器的物理位置进行重组,例如配置冷、热通道,都可以显著减少冷却系统的负荷。
4.升级数据存储器
数据存储系统也是数据中心电能消耗人的主安原因之一。更新存储系统也可以显著减少数据中心的电力消耗。一般来说,新做盘比旧做盘能效更高,而一个高容量磁盘则比两个相同容量的低容量磁盘消耗能源少。存储虚拟化也可以通过提高存储器的利用率、避免提供过最存储空间来提高能效。对于一些应用软件来说,可用 SATA 磁盘替代光纤驱动,因为后者每
Terabvte (太字节,计算机存储容量单位,也常用TB 来表示,1TB=1024GB=240字节)消耗的电能是前者的两倍。 - 升级变压器
数据中心的交流电供给需要采用变压器。大量电能就在这一环节损失了。很多廉价的变压器的效率仅为80%, 但通过对变压器升级,其利用率可达90%甚至更多,样,数据中心的电力损耗则可明显减少。 - 将服务器芯片更新为低电力消耗产品
如果服务器硬件达到了使用寿命,可采用低功耗的服务器芯片(CPU) 和其他组件(如前面所提到的磁盘驱动器和变压器)进行替换以降低能耗。 - 开展软件审核
绘制一份服务器运行的最新图表,注明正在运行的服务器及其上运行的软件,关闭空转的服务器以实现节省电能。 - 提高冷却温度
数据中心硬件进行更新时,有时冷却温度超出了指定范围。提高数据中心的冷却温度可以有效减少电力消耗。