01-揭秘数据中心

揭秘数据中心

作者:饶溢

QQ:1469991271

1.数据中心历史

ENIAC:1946年,世界第一台电子计算机ENIAC诞生,该计算机是美国军方为了计算弹道而研制的

TRADIC: 1954年,世界第一台由晶体管组成的电子计算机TRADIC研制成功

大型机: 继TRADIC之后,1960s,IBM的大型机实现了突破性进展,电子计算机开始商用,但主要为政府和军队使用。

虚拟化: 随着对系统性能的更高要求,人们希望同一个系统能提供额外的性能及资源共享,逐渐有了虚拟化的思想。在1972年,IBM的首个商用化产品VM/370 OS上实现了虚拟化技术。作为数据中心最重要的技术之一,虚拟化的发展也是数据中心发展过程中必不可少的一部分。

C/S结构计算模型与互联网:随着微型计算机和互联网的出现,人们不再喜欢使用笨重的大型机来处理事务,取而代之的是C/S结构,客户端对接用户,接收用户的指令,Server端接收客户端的指令,来处理具体的事务。这种C/S模式使得用户只需要一台轻便且廉价的微型计算机,搭配上互联网,就能完成大部分工作。而这种模式使得越来越多的服务提供商开始部署数据中心,为用户的互联网业务提供支撑。数据中心作为一种服务模式,被越来越多的公司接受

模块化数据中心:数据中心近年兴起了模块化数据中心这种新形式,它将通常将整个数据中心的设备都部署在集装箱里面,因此又名集装箱数据中心。这种数据中心虽然没有传统的数据中心那么招人喜欢的恢弘气势,但它却仅需要传统数据中心1%的建造成本,拥有灵活的机动性,而且能大幅降低部署周期

云数据中心:传统数据中心管理复杂、难以适应新业务发展需要、运维成本居高不下等一系列难题让企业IT主管们头痛不已,云计算 、大数据 、软件虚拟化等技术兴起后,以模块化、智能化、轻便化为特征的新一代数据中心——云计算数据中心应运而生。

  • 云数据中心是一种基于云计算架构的,计算、存储及网络资源松耦合,完全虚拟化各种IT设备、模块化程度较高、自动化程度较高的新型数据中心。随着云计算和数字化的推进,云数据中心的发展势头高歌猛进,每年的增速超过40%。从传统数据中心到云数据中心是一个渐进的过程。进入一个云数据中心,除了规模化、集中程度更高,可见的基础设施与传统数据中心差异并不会很大,但是服务会不断升级。

  • 云数据中心的特点首先是高度的虚拟化,这其中包括服务器、存储、网络、应用等虚拟化,使用户可以按需调用各种资源;其次是自动化管理程度,包括对物理服务器、虚拟服务器的管理,对相关业务的自动化流程管理、对客户服务计费等自动化管理;最后是绿色节能,云计算数据中心在各方面符合绿色节能标准,打造成为绿色云计算,一般PUE(能量利用率)值不超过1.5。

与传统数据中心相比,云数据中心的优势具体表现在哪些方面呢?

一、云数据中心的基础设备更加规模化、标准化、智能化

阿里巴巴集团的服务器多达上万台,而谷歌的服务器超过了50万台,如此规模庞大的设备基于统一的IP标准协同集中工作,其根源在于充分利用了云数据中心的高科技成果,使得支出最小化,产出最大化。

二、各种虚拟化技术使得云数据中心建设成本更低、承载的业务更多

其中有“一虚多”指一台服务器虚拟成多台服务器、有“多虚一”指多台服务器处理同一个业务,更多的是“多虚多”指多个业务在多台虚拟服务器上运行。如此繁多的虚拟化技术,如何能以最经济、高效的方式让新增业务快速上线并运行?答案是:云数据平台。

三、管理的高度自动化

在云数据中心,海量业务的迁移、设备的统一配置、故障的及时检查排除、流程跟踪等凭借自动化的管理技术,实现了高效的管理。

云数据中心的出现无疑是一新的进展,除了上文提到的高度的虚拟化等特征,还包括了新技术和新硬件产品的采用,如低功耗CPU,固态硬盘等,可以说云数据中心是传统数据中心的救赎者,IT主管们终于可以睡个安稳觉了。

在建设新一代数据中心时,数据中心基础设施层应该与和IT层更紧密地融合在一起,这样可以实现不同设备的统一管理和节能,从而可靠性、可控性得以提高。未来,数据中心应当朝着更高性能、更加便捷、更加智能的方向发展。而在虚拟化、云计算、大数据的影响下,数据中心用户会更关注能源效率和可持续性管理。

 

2.数据中心基本组成模块

什么是数据中心

  • 维基百科定义:数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。

  • Google定义:数据中心是多功能的建筑物,能容纳多个服务器 以及通信设备。这些设备被放置在一起是因为它们具有相同的对环境的要求以及物理安全上的需求,并且这样放置便于维护”,而“并不仅仅是一些服务器的集合”。

 

数据中心层次结构

  • L0 :盖楼:指土建、机房楼宇部分,说白了就是盖楼。

  • L1:基础设施:机房配套,指机房装修、供电、制冷消防等。

  • L2 :IT基础架构:机房基础设施层,包括服务器、存储设备、网络设备等硬件设施。

  • L3:应用平台。

  • L4:业务,各种服务。

 

数据中心模块化构成

L1:配电设施,机柜+布线系统,冷却设施,管理运维中心

L2:服务器,存储设备,计算网络,存储网络,数据中心互联网络

 

PUE:数据中心能源指标

 

PUEDCiELevel of Efficiency
3.033%Very Inefficient
2.540%Inefficient
2.050%Average
1.567%Efficient
1.283%Very Efficient

 

数据中心基础设施(L1层)

从产品角度分为八类:

  1. 消防系统:火灾探测系统,烟感探测系统,灭火系统

  2. 防雷接地:瞬间浪涌电压抑制装置,接地保护系统

  3. 机柜系统:IT设备机柜,精确送分机柜

  4. 综合布线:走线架,光纤配线架,线缆&光纤,走线支架,标识

  5. 制冷系统:精密空调,舒适性空调,通风系统

  6. 供电系统:油机&ATS,UPS(不间断电源),直流/交流电源架,静态转换开关,电池及电池架,电源线缆

  7. 内部装修:平面布局,门窗,墙&天花板,架空地板,照明

  8. 集成管理:门禁,CCTV集成模块,动环监控,集成管理

从系统角度分为六类:

  1. 电气系统:供电,UPS,动力配电,照明,防雷、接地,机柜(这里的机柜相对特殊,也有人把机柜放在装饰系统里或放在弱电系统里)

  2. 空调系统:精密空调,舒适性空调,新风系统,排烟、排气

  3. 消防系统:火灾自动报警,火灾自动灭火,极早期报警

  4. 弱点系统:综合布线,安防监控,环境监控,设备监控

  5. 管理系统:监控平台、大屏幕显示、会议系统、KVM、RFID

  6. 装饰系统:包括各种功能房间的天、地、墙的装饰装修,通过建筑装饰,把各个系统统一起来

 

传统数据中心逻辑分区(L2层)

  1. 核心网络:包含计算网络和存储网络(有时计算网络和存储网络是同一张网)

  2. 业务区:各个服务器,提供对外业务支撑

  3. 外联网络:连接分支机构,合作单位,外部用户及灾备中心的网络

  4. 管理平台:统一运维,监控,管理平台

  5. 存储区域:各种存储设备

 

 

 

云数据中心基本概念

  • DC:DataCenter,数据中心

  • POD:Point of Delivery,分发点,物理概念,是DC的基本部署单元,为了便于DC的资源池化操作,可以将整个DC的资源划分为一个或多个物理分区,每个物理分区就是一个POD。一台物理设备只能属于一个POD。

  • AZ:Availability Zone,可用区域。AC是逻辑概念,代表了一个故障隔离区域。实际中AZ和DC可按实际部署情况灵活映射,例如:在大规模公有云中,一个AZ可包含多个DC;在中小规模私有云中,一个DC内可设置多套独立的AZ;当然,也可将一个DC规划为一个AZ,这时DC与AZ是等同的。

  • VDC:Virtual Data Center,虚拟数据中心,在云数据中心,硬件被抽象出来组成资源池,这些资源池可用划分成多个集合,或者说划分为多块,每一块资源就是一个VDC,每个VDC中资源的多少以及管理规则都可以由客户自己定义。VDC在形式上类似于一个物理数据中心,是物理数据中心在虚拟化层的表现

  • VPC:Virtual Private Cloud,虚拟私有云。VPC使用VDC中的资源,一个VPC只能属于一个VDC,而一个VDC可包含多个VPC。每个VPC为一个安全域,对应于一个业务/应用/部门。VPC可提供以下特性:

    1. 隔离环境:VPC提供隔离的虚拟机和网络环境,满足不同业务/部门的网络隔离要求。

    2. 业务丰富:每个VPC可提供独立的vFW、vLB、安全组、EIP、IPsec VPN、NAT等业务。

    3. 灵活组网:VPC可提供直联网络、路由网络和内部网络等多种组网模式。

  • Tanant:租户,由系统管理员创建和分配。是一个VDC的实际拥有者和管理者,不同VDC对应不同的租户。Ø在公有云场景,系统管理员可以定义VDC并为VDC分配租户,只有该VDC的租户才可管理该VDC下的资源。

    在私有云场景,VDC可以灵活定义,分配给一个业务/应用/部门。系统管理员可以通过VDC对企业内的不同业务/应用/部门进行不同等级的资源配额管理

在云数据中心的场景下,AZ、VDC和VPC三者之间的比值如下:

  • VDC:AZ=M:N

多个AZ可以提供给同一个VDC使用时,从而使得同一VDC可跨多个物理数据中心。

多个VDC使用同一个AZ时,从而使得AZ的资源可以复用。

  • VPC:AZ=1:1或1:N

当1:1时,一个VPC可以使用一个AZ的资源;当1:n时,一个VPC可以使用多个AZ,但是前提是这多个AZ要在同一个物理数据中心内。

  • VDC:VPC=1:N

一个VDC可以使用多个VPC的网络资源。

 

3.云数据中心演进趋势

  • 云化进程分为3个阶段,虚拟化为主的1.0时代 演进服务为主的2.0时代,到3.0时代,是以业务的架构云化Cloud Native架构的时代。

  • 目前业界私有云方案的发展已经进入2.0的阶段, IaaS+、OpenStack、服务逐渐面向开发者、混合云管理等,业界都在想法解决企业IT云转型中遇到的问题和困惑。

 

4.华为云数据中心架构 FusionCloud

  • 华为FusionCloud从基础设施到云平台到云管理到最后满足企业云转型各种业务场景涉及的云服务,为各个环节提供相应解决方案。

 

1.Oenstack架构下构建融合的计算资源池

 

  •  通过FusionSphere OpenStack统一纳管底层所有的资源,例如裸金属,VMware虚拟化环境,华为FusionSphere虚拟化环境,KVM虚拟化环境。形成计算、存储、网络资源池

 

2.基于异构融合和应用模板的存储服务化

 

  •  通过FusionSphere OpenStack将不同类型的存储,甚至是第三方存储融合,形成一个融合存储资源池,为上层应用提供任意服务

 

3.SDN支持业务跨数据中心和自动化的灵活部署

  • 在大型数据中心中,必然有很多的网络配置,例如Vxlan、Evpn、不同地理位置间DC的连接甚至是300K的VPC,这些物理网络和虚拟网络手工来配极其麻烦。
  • 我们在Openstack中可以使用华为SDN控制器(Agile Contriller)实现网络的自动配置和跨域的业务部署

 

4.统一服务接入平台

  • 使用华为统一接入平台ManageOne(包括OC/SC)接入FusionSphere Openstack。
  • 快速接入和灵活编排云服务。实现分布式云数据中心管理,服务分钟级完成自动化跨数据中心部署

 

5.基于业务灵活的VDC

  • 通过FusionSphere Openstack形成云资源池后,可以对资源池划分资源,形成VDC。
  • VDC可以去匹配客户的组织(根据客户的组织划分VDC),实现云资源的分权分域。
  • VDC拥有自运营能力,业务部门拿到VDC后可以自主分配云资源,聚焦业务,同时云平台的维护工作由IT部门负责,使用与建设分离,提升业务对资源的驱动能力。

 

6.SLA策略化调度满足各种业务需求

  • 底层的物理硬件有多种多样,有性能高的,有性能普通的,有性能稍差的。
  • 不同的硬件形成的资源池可以通过SLA策略,打上不同的标签,划分不同的等级,给予不同的上层应用使用
  • 例如:性能最好的裸金属物理机资源可以给财务数据库使用,性能稍差的弹性虚拟机资源可以给Web应用服务
  • 性能较差但空间较大的存储可以给冷数据使用,性能较好的存储可以给热数据使用

 

7.基于业务驱动的弹性伸缩和业务调度

  • 在业务的运行过程中,对于资源的性能、数量等诉求也是动态的。
  • FusionCloud架构感知到业务的诉求后,可发起相应的策略,实现资源的弹性伸缩或调度。

 

8.统一的混合云管理

  • 华为FusionSphere OpenStack可以同时对接私有云和公有云,统一混合云管理,拓展了资源弹性的范围,为企业业务的浪涌构筑了可行性方案,确保企业业务的无缝扩展,游刃有余。

 

9.云灾备解决方案

  • 传统IT环境下的7个容灾备份子方案,满足客户不同灾备等级需求。其中以HyperMetro特性为主打的双活数据中心方案,满足客户业务0中断,数据0丢失的最高灾备等级需求,并支持从传统IT到云化环境的平滑升级。

  • 私有云灾备方案,是基于openstack架构把灾备业务能力进行了服务化编排,将灾备变为一种服务,目前提供备份服务、主备服务(业界首家支持openstack架构跨中心灾备);作为最高等级的双活服务,也会很快推出。

 

 

  • 7
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
从clickhouse到bytehouse - 揭秘字节跳动万台节点 字节跳动在数据分析和大数据处理方面一直是行业的领先者。为了应对快速增长的数据需求以及提高数据分析的效率,字节跳动开发了一种高性能的数据存储和查询引擎,名为ClickHouse。ClickHouse是一个开源的列式数据库管理系统,通过利用现代硬件的计算和存储能力,能够高效地处理海量数据。 然而,随着字节跳动用户数量的不断增加,ClickHouse在处理大规模数据时也面临一些挑战。为了进一步提升数据分析的速度和效率,字节跳动决定开发一种名为ByteHouse的新型数据存储和查询引擎。 ByteHouse是在ClickHouse的基础上进行了优化和改进的新一代数据处理引擎。它采用了自主设计的分布式架构,将数据存储和查询任务分发到多台节点上进行并行处理。字节跳动部署了数万台节点,每个节点都具备计算和存储能力,以应对海量数据处理的需求。 ByteHouse引擎的主要特点之一是其高度可扩展性。可以根据数据的增长情况随时扩展节点数量,从而保持系统的稳定性和性能。此外,ByteHouse还采用了多级缓存和数据压缩等技术,以进一步提高数据查询的速度和效率。 字节跳动通过使用ByteHouse引擎,实现了对海量数据的高速查询和实时分析。无论是在搜索、内容推荐还是广告投放等方面,ByteHouse都起到了关键作用。该引擎的高性能和可扩展性,使得字节跳动能够处理复杂的数据分析任务,并提供即时的洞察和决策支持。 总的来说,从ClickHouse到ByteHouse的升级,揭示了字节跳动在大数据处理方面的技术实力和创新能力。通过高性能的数据存储和查询引擎,字节跳动能够处理海量数据,并在多个业务场景中发挥关键作用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值