第一章 云计算概述
云计算:指按需使用IT资源和应用程序,通过互联网按使用量付费。
四种云
公有云:提供公共的IT资源
缺点:保密性较低
私有云:提供给政府.学校等地
优点:保密性高
社区云:研究人员使用
混合云:包含以上任意两种
云计算的基本特征
资源无限量供应
提供自助式服务
远程提供服务
资源可控
按使用量付费
云计算的发展背景
(1)20世纪60年代,计算机革命
(2)20世纪90年代,互联网革命
(3)2010年,移动互联网革命
典型的云计算基础架构
GFS分布式文件系统
针对Google应用程序的特点提出的MapReduce编程模型
大规模分布式数据库BigTable
云计算模下的IT建设
特点:①开放硬件平台,软件与硬件解耦
②分布式设计、软件定义存储
③IT建设的传统IOE架构,转向互联网架构
④集中资源地的共享、虚拟化、分时共享
⑤动态调配,弹性伸缩,低成本,标准化硬件
⑥芯片新介质取得突破(云计算IT的基础)
优点:省时,省力,省钱,省电,省人,省地
云计算的特点
虚拟化技术
动态可扩展性
按需部署
灵活性高
可靠性高
性价比高
地理分布
先进安全技术
云计算的主要服务模式
IaaS(基础设施即服务)
关键技术:虚拟化技术
PaaS(平台即服务)
特点:①简化开发人员
②提供PC端或软件端的开发套件
③丰富的开发环境
④完全可托管的数据库服务
⑤可配置式的应用程序的构建
⑥支持多语言的开发
⑦面向市场
关键技术:①分布式并计算
②分布式存储
SaaS(软件即服务)
关键技术:多租户技术
三种服务的区别
IaaS:最底层
提供基础设施服务
PaaS:提供软件
部署平台
SaaS:拿来即用
第二章 大数据技术概述
大数据的定义
在一定时间范围内用常规软件工具进行捕捉,管理和处理数据集合
经典案例
1.啤酒与尿布
2.谷歌与流感
大数据的范围:采集、存储、搜索共享、传输,分析和可视化
内存:运行速度
存储:储存容量
海量数据产生:
(1)来自大人群互联网
(2)来自大量传感器机械
(3)科学研究及行业多结构专业数据
1887-1890年:电功器
1944年:预见大数据
1997年:用大数据描述超级计算机产生的大量信息
2003-2006年:谷歌提出大数据可重用方案
2008年:提出大数据既念
2009年:大数据逐渐走进互联网
2012年:大数据成为一种新的资产类别
2013年:大数据元年
1ZB=10亿TB
各数据量单位:KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB
单位以PB衡量的数据可称为大数据
1位(二进制0或1)
1字节(8位):1个英文字母或二进制8位数文字
1文字=2字节=16位
第四范式
实验→理论→计算→数据
大数据的特征
大量化:①存储量大②增量大
多样化:①来源多:搜索引擎、社交网络②格式多:结构化数据、非结构化数据
快速化
有价值
企业推动大数据
腾讯、华为、谷歌、ETC、数据库、阿里
大数据的关键技术
1.大数据预处理技术
①数据采集
②数据存取
③基础架构支持
④计算结果展现
2.大数据存储技术
①存储设备能持久可靠的存储数据
②提供可伸缩接口
③提供高效查询、更新等操作
大数据分析技术
①数据处理
②统计和分析
③数据挖掘
④模型预测
大数据计算技术
大数据的典型计算架构
Hadoop:处理本地数据
Spark:收集并更新
Storm:延迟毫秒级
第三章 虚拟化技术
虚拟化技术
什么是虚拟化?
作为一种计算机资源管理技术,将各种的IT实体资源抽象转化为另一种形式的技术
云计算与虚拟化有什么关系?
云计算1.0→以虚拟化为核心
云计算2.0→以资源为核心
云计算3.0→以应用为核心
云计算:一种服务
虚拟化:一种技术基础
物理机①操作系统(Host Os)
②硬件(Host Machine)
虚拟机①操作系统(Guest Os)
②虚拟机(Guest Machine)
③VMM(虚拟监控器)
④硬件(Host Machine)
虚拟化的特点
分区:可分为多个虚拟机
隔离:虚拟机与虚拟机之间相互独立
封装:独立的文件夹形式
相对于硬件独立:屏蔽底层硬件不兼容问题
虚拟化类型
(1)寄居虚拟化:在主操作系统上安装和运行一个程序
特点:①简单易于实现
②安装和运行应用程序时,依赖于主操作系统对设备的支持
③有两层OS,管理开销大,性能损耗大
④虚拟机对各种物理主机的调用,都是通过虚拟化层和宿主OS一起调用完成
(2)裸金属虚拟化:在硬件上不属虚拟化层
特点:①不依赖于操作系统
②支持多种操作系统
③依赖虚拟层内核和服务控制台进行管理
④需要对虚拟层进行内核开发
(3)混合虚拟化:插入内核模块
特点:①相对于寄居虚拟化性能高
②相对于裸金属虚拟化不需要内核开发
③支持多种操作系统
④需要底层硬件支持虚拟扩展功能
虚拟化层架构
全虚拟化(KVM)、半虚拟化(Xen)、硬件辅助虚拟化
全虚拟化:即所抽象的VM具有完全的物理特性,虚拟化层负责捕获CPU指令,为指令访问硬件充当媒介
特点:① Os无需修改
②速度和功能比较好,使用非常简单
③移植性好
半虚拟化:
特点:①架构更简单
②对Os进行修改,用户体验比较麻烦
③速度上占一定优势
硬件辅助虚拟化
虚拟化技术的优势和劣势
(1)优势:①减少物理资源的投入,节约成本
②虚拟数据资源迁移方便
③提高物理资源的使用率
④更加环保,节省能源
⑤易于自动化维护与操作,减少维护成本
⑥数据安全更有保障
劣势:①目前业界没有统一的虚拟化技术标准与平台.没有开放的协议
②如果没有对数据进行备份,应用虚拟化技术会存在一定的风险
③虚拟数据中心的迁移,特别是对在线服务的迁移,对用户影响巨大
全虚拟化与半虚拟化举例对比
KVM(性能) Xen(安全)
全虚拟化 (1)半虚拟化
内置在内核中 (2)需要修改内核
便于版本安装、升级、维护 (3)更新版本,重新编辑整个内核
性能高 (4)隔离好
第四章 数据中心
数据中心的定义:是全球协作的特定设备网络,用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息
构成:机房(建筑物本身)、供配电系统、制冷系统、网络设备、服务器设备、存储设备等
作用:随着数据中心行业在全球的蓬勃发展,随着社会经济的快速增长,数据中心的发展建设将处于高速时期,再加上各地政府部门给予新兴产业的大力扶持,都为数据中心行业的发展带来了很大的优势。随着数据中心行业的大力发展,将来在很多城市中都会有很大的发展空间,一些大型的数据中心也会越来越多。2017年全球经历了前所未有的自然灾害之后,很多数据中心管理人员都在积极制定灾难恢复计划。例如就可以通过云计算工具对电力使用的功率进行限制,在遭遇停电时间时将允许以降低的功率继续运行,可以为电力企业的正常运行提供有效的保障。还可以利用数据中心指定备份计划,对服务器的操作进行拓展,就不需要通过关闭和重启服务器操作。
数据中心是与人力资源、自然资源一样重要的战略资源,在信息时代下的数据中心行业中,只有对数据进行大规模和灵活性的运用,才能更好的去理解数据,运用数据,才能促使我国数据中心行业快速高效发展,体现出国家发展的大智慧。海量数据的产生,也促使信息数据的收集与处理发生了重要的转变,企业也从实体服务走向了数据服务。产业界需求与关注点也发生了转变,企业关注的重点转向了数据,计算机行业从追求的计算能力转变为数据处理能力,软件业也将从编程为主向数据为主转变,云计算的主导权也将从分析向服务转变。
在信息时代下,数据中心的产生,更多的网络内容也将不再由专业网站或者特定人群所产生,而是由全体网民共同参与。随着数据中心行业的兴起,网民参与互联网、贡献内容也更加便捷,呈现出多元化。巨量网络数据都能够存储在数据中心,数据价值也会越来越高,可靠性能也在进一步加强。
数据中心的发展历程
①巨型机时代
② PC时代
③云计算大数据时代
数据中心的组成
数据中心是全bai球协作的特定设备网络,用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。
IDC(Internet Data Center) - Internet数据中心,bai它是传统的数据中心与Internet的结合,它除了具有传统的数据中心所具有的特点外,如数据集中、主机运行可靠等,还应具有访问方式的变化、要做到7x24服务、反应速度快等。IDC是一个提供资源外包服务的基地,它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。
IDC作为提供资源外包服务的基地,它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。简单地理解,IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所;是各种模式电子商务赖以安全运作的基础设施,也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说,IDC是个高品质机房,在其建设方面,对各个方面都有很高的要求
网络建设
IDC主要是靠其有一个高性能的网络为其客户提供服务,这个高性能的网络包括其- AN、WAN和与Internet接入等方面要求。
IDC的网络建设主要有: - IDC的- AN的建设,包括其- AN的基础结构,- AN的层次,- AN的性能。 - IDC的WAN的建设,即IDC的各分支机构之间相互连接的广域网的建设等。 - IDC的用户接入系统建设,即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心,或对存放在IDC的用户自己的设备进行维护,这需要IDC为用户提供相应的接入方式,如拨号接入、专线接入及VPN等。 - IDC与Internet互联的建设。
数据中心的建设原则
①数据中心将建在哪里
②需要多少个机架?他们的尺寸是多少
③需要什么等级的数据中心
④每个机架平均功率密度是多少
⑤运维人员需参加规划设计工作
⑥避免受内外部因素影响,不能正确对待倾向,喜好,限制,约束的区别,不遵守科学设计原则
⑦交流机架或直流机架需要什么级别的备份电池
⑧避免轻规划设计,施工建设
⑨避免忽视对系统可维护和可修复设计
⑩避免可用性设计缺乏科学依据
⒒避免在脱离实际需要和可行性情况下,确定高指标
⒓避免重设备轻系统的认识误区.注重统筹设计
数据中心的基本单元--服务器
塔式服务器
塔式服务器的主板扩展性较强,插槽也很多,而且塔式服务器的机箱内部往往会预留很多空间,以便进行硬盘,电源等的冗余扩展。这种服务器无需额外设备,对放置空间没多少要求,并且具有良好的可扩展性,配置也能够很高,因而应用范围非常广泛,可以满足一般常见的服务器应用需求。
这种类型服务器尤其适合常见的入门级和工作组级服务器应用,而且成本比较低,性能能满足大部分中小企业用户的要求,市场需求空间还是很大的。
但这种类型服务器也有不少局限性,在需要采用多台服务器同时工作以满足较高的服务器应用需求时,由于其个体比较大,占用空间多,也不方便管理,便显得很不适合。
机架式服务器
机架式服务器也有多种规格,例如1U(4.445cm高)、2U、4U、6U、8U等。通常1U的机架式服务器最节省空间,但性能和可扩展性较差,适合一些业务相对固定的使用领域。4U以上的产品性能较高,可扩展性好,一般支持4个以上的高性能处理器和大量的标准热插拔部件。管理也十分方便,厂商通常提供人相应的管理和监控工具,适合大访问量的关键应用,但体积较大,空间利用率不高。
机架式服务器的优点,和其他两种样式服务器对比。机架式服务器相对于塔式服务器要节约空间,但是散热稍微差一点,因为空间紧凑。
按结点密度分类
网络节点服务器(NNS)是SNA网络节点(NN) ,一种服务器装置,节点服务器是针对服务器集群来说的。主要应用在WEB、FTP。VPN等等的服务上。所以节点服务器并不是单指某一种服务器。它由多个节点和管理装置整体的管理单元构成,其特征在于: 各节点具备切换该节点的动作模式的模块管理部,该模块管理部根据从所述管理单元传递的构成信息,切换各节点单独动作或与其它节点协调动作.提供一种服务器装置,除以前的刀锋服务器系统的向外扩展型的扩展性外,还具备基于SMP结合多个节点间的向上扩展型的扩展性。各节点具备与其它节点SMP 结合用的单元,各节点的模块管理部根据系统构成信息,切换该节点作为刀锋服务器单独动作或作为SMP服务器的构成模块来动作。在背板上对各节点间链路进行等长布线,通过在各节点内也进行与背板上的各节点间链路等长的环路布线,取得节点间的同步。在背板上搭载向各节点分配基准时钟的基准时钟分配单元,利用各节点内部的时钟分配器来切换基准时钟,由此进行SMP结合的节点的基准时钟的同步。
CISC型CPU目前主要有intel的服务器CPU和AMD的服务器CPU两类。
intel的服务器CPU
(2)AMD的服务器CPU RISC是英文“Reduced Instruction Set Computing ” 的缩写,中文意思是“精简指令集”
在中高档服务器中采用RISC指令的CPU主要有以下几类:
PowerPC处理器
(2)SPARC处理器
(3)PA-RISC处理器
(4)MIPS处理器
(5)Alpha处理器 VLIW是英文“Very Long Instruction Word”的缩写,中文意思是“超长指令集架构”,VLIW架构采用了先进的EPIC(清晰并行指令)设计,我们也把这种构架叫做“IA-64架构”。EPIC处理器主要是Intel的IA-64(包括Intel研发的安腾处理器)和AMD的x86-64两种。
按功能分类
1.文件服务器
2.数据库服务器
3.邮件服务器
4.web服务器
5.DNS服务器
6.代理服务器
7.FTP服务器
8.应用服务器
数据中心选址
数据中心的能耗
从发电的角度说,2年前三峡的电已经不够数据中心用;从用电角度说,数据耗电超过了农业全行业。以能耗作为标准,未来的数据行业是当之无愧的”重“工业。
数据中心能耗评估
PUE = 数据中心总能耗/IT设备能耗,其中数据中心总能耗包括IT设备能耗和制冷、配电等系统的能耗,其值大于1,越接近1表明非IT设备耗能越少,即能效水平越好。
数据中心的主要节能措施
1.调高数据中心温度
2.评估数据中心设备运行情况
3.虚拟化技术的应用
4.及时关闭不必要的用电设备
5.充分利用自然散热
6.人为因素