云计算与大数据技术 李春燕

第一章  云计算概述

云计算：指按需使用IT资源和应用程序，通过互联网按使用量付费。

四种云

公有云：提供公共的IT资源

            缺点：保密性较低

私有云：提供给政府.学校等地

            优点：保密性高

社区云：研究人员使用

混合云：包含以上任意两种

云计算的基本特征

资源无限量供应

提供自助式服务

远程提供服务

资源可控

按使用量付费

云计算的发展背景

（1）20世纪60年代,计算机革命

（2）20世纪90年代,互联网革命

（3）2010年，移动互联网革命

典型的云计算基础架构

GFS分布式文件系统

针对Google应用程序的特点提出的MapReduce编程模型

大规模分布式数据库BigTable

云计算模下的IT建设

特点：①开放硬件平台，软件与硬件解耦

      ②分布式设计、软件定义存储

      ③IT建设的传统IOE架构，转向互联网架构

      ④集中资源地的共享、虚拟化、分时共享

      ⑤动态调配,弹性伸缩，低成本，标准化硬件

      ⑥芯片新介质取得突破（云计算IT的基础）

优点：省时，省力，省钱，省电，省人，省地

云计算的特点

虚拟化技术

动态可扩展性

按需部署

灵活性高

可靠性高

性价比高

地理分布

先进安全技术

云计算的主要服务模式

IaaS(基础设施即服务)

关键技术：虚拟化技术

PaaS(平台即服务)

    特点：①简化开发人员

          ②提供PC端或软件端的开发套件

          ③丰富的开发环境

          ④完全可托管的数据库服务

          ⑤可配置式的应用程序的构建

          ⑥支持多语言的开发

          ⑦面向市场

    关键技术：①分布式并计算

              ②分布式存储

SaaS(软件即服务)

关键技术：多租户技术

三种服务的区别

IaaS:最底层

提供基础设施服务

PaaS:提供软件

部署平台

SaaS:拿来即用

第二章  大数据技术概述  

大数据的定义

在一定时间范围内用常规软件工具进行捕捉，管理和处理数据集合

经典案例

1.啤酒与尿布

2.谷歌与流感

大数据的范围:采集、存储、搜索共享、传输，分析和可视化

内存:运行速度

存储:储存容量

海量数据产生:

（1）来自大人群互联网

（2）来自大量传感器机械

（3）科学研究及行业多结构专业数据

1887-1890年:电功器

1944年:预见大数据

1997年:用大数据描述超级计算机产生的大量信息

2003-2006年:谷歌提出大数据可重用方案

2008年:提出大数据既念

2009年:大数据逐渐走进互联网

2012年:大数据成为一种新的资产类别

2013年：大数据元年

1ZB=10亿TB

各数据量单位:KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB

单位以PB衡量的数据可称为大数据

1位(二进制0或1)

1字节(8位):1个英文字母或二进制8位数文字

1文字=2字节=16位

第四范式

实验→理论→计算→数据

大数据的特征

大量化:①存储量大②增量大

多样化：①来源多:搜索引擎、社交网络②格式多:结构化数据、非结构化数据

快速化

有价值

企业推动大数据

腾讯、华为、谷歌、ETC、数据库、阿里

大数据的关键技术

1.大数据预处理技术

①数据采集

②数据存取

③基础架构支持

④计算结果展现

2.大数据存储技术

①存储设备能持久可靠的存储数据

②提供可伸缩接口

③提供高效查询、更新等操作

大数据分析技术

①数据处理

②统计和分析

③数据挖掘

④模型预测

大数据计算技术

大数据的典型计算架构

Hadoop:处理本地数据

Spark:收集并更新

Storm:延迟毫秒级

     

第三章 虚拟化技术

虚拟化技术

什么是虚拟化？

作为一种计算机资源管理技术，将各种的IT实体资源抽象转化为另一种形式的技术

云计算与虚拟化有什么关系？

云计算1.0→以虚拟化为核心

云计算2.0→以资源为核心

云计算3.0→以应用为核心

云计算：一种服务

虚拟化：一种技术基础

物理机①操作系统（Host Os）

      ②硬件（Host Machine）

虚拟机①操作系统(Guest Os)

     ②虚拟机(Guest Machine)

     ③VMM(虚拟监控器)

     ④硬件(Host Machine)

虚拟化的特点

分区：可分为多个虚拟机

隔离:虚拟机与虚拟机之间相互独立

封装:独立的文件夹形式

相对于硬件独立:屏蔽底层硬件不兼容问题

虚拟化类型

（1）寄居虚拟化:在主操作系统上安装和运行一个程序

        特点:①简单易于实现

            ②安装和运行应用程序时，依赖于主操作系统对设备的支持

            ③有两层OS,管理开销大，性能损耗大

            ④虚拟机对各种物理主机的调用，都是通过虚拟化层和宿主OS一起调用完成

（2）裸金属虚拟化:在硬件上不属虚拟化层

特点:①不依赖于操作系统

    ②支持多种操作系统

    ③依赖虚拟层内核和服务控制台进行管理

    ④需要对虚拟层进行内核开发

（3）混合虚拟化：插入内核模块

特点:①相对于寄居虚拟化性能高

    ②相对于裸金属虚拟化不需要内核开发

    ③支持多种操作系统

    ④需要底层硬件支持虚拟扩展功能

虚拟化层架构

全虚拟化(KVM)、半虚拟化(Xen)、硬件辅助虚拟化

全虚拟化:即所抽象的VM具有完全的物理特性，虚拟化层负责捕获CPU指令,为指令访问硬件充当媒介

        特点:① Os无需修改

        ②速度和功能比较好，使用非常简单

        ③移植性好

半虚拟化:

        特点:①架构更简单

             ②对Os进行修改，用户体验比较麻烦

             ③速度上占一定优势

硬件辅助虚拟化

虚拟化技术的优势和劣势

（1）优势：①减少物理资源的投入，节约成本

      ②虚拟数据资源迁移方便

      ③提高物理资源的使用率

      ④更加环保，节省能源

      ⑤易于自动化维护与操作，减少维护成本

      ⑥数据安全更有保障

劣势：①目前业界没有统一的虚拟化技术标准与平台.没有开放的协议

          ②如果没有对数据进行备份，应用虚拟化技术会存在一定的风险

          ③虚拟数据中心的迁移，特别是对在线服务的迁移，对用户影响巨大

全虚拟化与半虚拟化举例对比

KVM(性能)                                  Xen(安全)

全虚拟化                                  （1）半虚拟化

内置在内核中                           （2）需要修改内核

便于版本安装、升级、维护     （3）更新版本，重新编辑整个内核

性能高                                       （4）隔离好

第四章 数据中心

数据中心的定义：是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息

构成：机房（建筑物本身）、供配电系统、制冷系统、网络设备、服务器设备、存储设备等

作用:随着数据中心行业在全球的蓬勃发展，随着社会经济的快速增长，数据中心的发展建设将处于高速时期，再加上各地政府部门给予新兴产业的大力扶持，都为数据中心行业的发展带来了很大的优势。随着数据中心行业的大力发展，将来在很多城市中都会有很大的发展空间，一些大型的数据中心也会越来越多。2017年全球经历了前所未有的自然灾害之后，很多数据中心管理人员都在积极制定灾难恢复计划。例如就可以通过云计算工具对电力使用的功率进行限制，在遭遇停电时间时将允许以降低的功率继续运行，可以为电力企业的正常运行提供有效的保障。还可以利用数据中心指定备份计划，对服务器的操作进行拓展，就不需要通过关闭和重启服务器操作。

数据中心是与人力资源、自然资源一样重要的战略资源，在信息时代下的数据中心行业中，只有对数据进行大规模和灵活性的运用，才能更好的去理解数据，运用数据，才能促使我国数据中心行业快速高效发展，体现出国家发展的大智慧。海量数据的产生，也促使信息数据的收集与处理发生了重要的转变，企业也从实体服务走向了数据服务。产业界需求与关注点也发生了转变，企业关注的重点转向了数据，计算机行业从追求的计算能力转变为数据处理能力，软件业也将从编程为主向数据为主转变，云计算的主导权也将从分析向服务转变。

在信息时代下，数据中心的产生，更多的网络内容也将不再由专业网站或者特定人群所产生，而是由全体网民共同参与。随着数据中心行业的兴起，网民参与互联网、贡献内容也更加便捷，呈现出多元化。巨量网络数据都能够存储在数据中心，数据价值也会越来越高，可靠性能也在进一步加强。

数据中心的发展历程

①巨型机时代

② PC时代

③云计算大数据时代

数据中心的组成

数据中心是全bai球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。它不仅仅包括计算机系统和其它与之配套的设备（例如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。

IDC(Internet Data Center) - Internet数据中心，bai它是传统的数据中心与Internet的结合，它除了具有传统的数据中心所具有的特点外，如数据集中、主机运行可靠等，还应具有访问方式的变化、要做到7x24服务、反应速度快等。IDC是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。

IDC作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。简单地理解，IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说，IDC是个高品质机房，在其建设方面，对各个方面都有很高的要求

网络建设

IDC主要是靠其有一个高性能的网络为其客户提供服务，这个高性能的网络包括其- AN、WAN和与Internet接入等方面要求。

IDC的网络建设主要有： - IDC的- AN的建设，包括其- AN的基础结构，- AN的层次，- AN的性能。 - IDC的WAN的建设，即IDC的各分支机构之间相互连接的广域网的建设等。 - IDC的用户接入系统建设，即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心，或对存放在IDC的用户自己的设备进行维护，这需要IDC为用户提供相应的接入方式，如拨号接入、专线接入及VPN等。 - IDC与Internet互联的建设。

数据中心的建设原则

①数据中心将建在哪里

②需要多少个机架？他们的尺寸是多少

③需要什么等级的数据中心

④每个机架平均功率密度是多少

⑤运维人员需参加规划设计工作

⑥避免受内外部因素影响，不能正确对待倾向，喜好，限制，约束的区别，不遵守科学设计原则

⑦交流机架或直流机架需要什么级别的备份电池

⑧避免轻规划设计，施工建设

⑨避免忽视对系统可维护和可修复设计

⑩避免可用性设计缺乏科学依据

⒒避免在脱离实际需要和可行性情况下，确定高指标

⒓避免重设备轻系统的认识误区.注重统筹设计

数据中心的基本单元--服务器

塔式服务器

塔式服务器的主板扩展性较强，插槽也很多，而且塔式服务器的机箱内部往往会预留很多空间，以便进行硬盘，电源等的冗余扩展。这种服务器无需额外设备，对放置空间没多少要求，并且具有良好的可扩展性，配置也能够很高，因而应用范围非常广泛，可以满足一般常见的服务器应用需求。

这种类型服务器尤其适合常见的入门级和工作组级服务器应用，而且成本比较低，性能能满足大部分中小企业用户的要求，市场需求空间还是很大的。

但这种类型服务器也有不少局限性，在需要采用多台服务器同时工作以满足较高的服务器应用需求时，由于其个体比较大，占用空间多，也不方便管理，便显得很不适合。

机架式服务器

机架式服务器也有多种规格，例如1U（4.445cm高）、2U、4U、6U、8U等。通常1U的机架式服务器最节省空间，但性能和可扩展性较差，适合一些业务相对固定的使用领域。4U以上的产品性能较高，可扩展性好，一般支持4个以上的高性能处理器和大量的标准热插拔部件。管理也十分方便，厂商通常提供人相应的管理和监控工具，适合大访问量的关键应用，但体积较大，空间利用率不高。

机架式服务器的优点，和其他两种样式服务器对比。机架式服务器相对于塔式服务器要节约空间，但是散热稍微差一点，因为空间紧凑。

按结点密度分类

网络节点服务器(NNS)是SNA网络节点(NN) ，一种服务器装置，节点服务器是针对服务器集群来说的。主要应用在WEB、FTP。VPN等等的服务上。所以节点服务器并不是单指某一种服务器。它由多个节点和管理装置整体的管理单元构成，其特征在于： 各节点具备切换该节点的动作模式的模块管理部，该模块管理部根据从所述管理单元传递的构成信息，切换各节点单独动作或与其它节点协调动作.提供一种服务器装置，除以前的刀锋服务器系统的向外扩展型的扩展性外，还具备基于SMP结合多个节点间的向上扩展型的扩展性。各节点具备与其它节点SMP 结合用的单元，各节点的模块管理部根据系统构成信息，切换该节点作为刀锋服务器单独动作或作为SMP服务器的构成模块来动作。在背板上对各节点间链路进行等长布线，通过在各节点内也进行与背板上的各节点间链路等长的环路布线，取得节点间的同步。在背板上搭载向各节点分配基准时钟的基准时钟分配单元，利用各节点内部的时钟分配器来切换基准时钟，由此进行SMP结合的节点的基准时钟的同步。

CISC型CPU目前主要有intel的服务器CPU和AMD的服务器CPU两类。

intel的服务器CPU

(2)AMD的服务器CPU RISC是英文“Reduced Instruction Set Computing ” 的缩写，中文意思是“精简指令集”

在中高档服务器中采用RISC指令的CPU主要有以下几类：

PowerPC处理器

(2)SPARC处理器

(3)PA-RISC处理器

(4)MIPS处理器

(5)Alpha处理器 VLIW是英文“Very Long Instruction Word”的缩写，中文意思是“超长指令集架构”，VLIW架构采用了先进的EPIC（清晰并行指令）设计，我们也把这种构架叫做“IA-64架构”。EPIC处理器主要是Intel的IA-64(包括Intel研发的安腾处理器)和AMD的x86-64两种。

按功能分类

1.文件服务器

2.数据库服务器

3.邮件服务器

4.web服务器

5.DNS服务器

6.代理服务器

7.FTP服务器

8.应用服务器

数据中心选址

数据中心的能耗

从发电的角度说，2年前三峡的电已经不够数据中心用；从用电角度说，数据耗电超过了农业全行业。以能耗作为标准，未来的数据行业是当之无愧的”重“工业。

数据中心能耗评估

PUE = 数据中心总能耗/IT设备能耗，其中数据中心总能耗包括IT设备能耗和制冷、配电等系统的能耗，其值大于1，越接近1表明非IT设备耗能越少，即能效水平越好。

数据中心的主要节能措施

1.调高数据中心温度

2.评估数据中心设备运行情况

3.虚拟化技术的应用

4.及时关闭不必要的用电设备

5.充分利用自然散热

6.人为因素