大数据云计算

第一章 云计算

1.云计算的定义

维基百科：云计算是一种动态扩展的计算模式，通过计算机网络将虚拟化的资源作为服务提供给用户。

什么是云计算：像水、电、煤（资源性产品）一样利用你的IT资源（计算机存储网络资源）

关键词：按需使用、超大规模、高弹性

定义：指按需求使用IT资源和应用程序，通过互联网，按使用量付费。

四种云：

1. 公有云­——提供公共的IT资源

缺点：保密性低

1. 私有云——提供给政府、学校等地

优点：保密性高

1. 社区云——研究人员使用
2. 混合云——包含以上任意两种

生活中的例子：

1. 出行论：自己买车、开车 混合云
2. 吃饭论：餐厅 公有云、在家做饭 私有云、在家+请厨师 混合云
3. 酒店论：酒店 公有云、家 私有云

2.云计算的基本特征

（1）无限量供应

（2）提供自助式服务

（3）远程提供服务

（4）资源可控

（5）按使用量付费

3.云计算发展背景

（1）20世纪60年代，计算机革命

（2）20世纪90年代，互联网革命

（3）1994年——Web（单向传递）

（4）2004年——Web（双向传递）

（5）2010年，移动互联网革命

4.云计算的概念模型

用户的公共性

设备的多样性

商业模式的服务性

提供方式的灵活性

5.云计算下的IT建设

特点：

开放硬件平台，软件和硬件解耦

分布式设计，软件定义储存

IT建设的传统IOE架构，转向互联网架构

集中资源池的共享，虚拟化，分时共享

动态调配，弹性伸缩，低成本，标准化硬件

芯片新介质取得突破（云计算IT的基础）

优点：省时、省力、省钱、省电、省人、省地

6.云计算的特点

虚拟化技术

动态可扩展性

按需部署

灵活性高

可靠性高

性价比高

地理分布

先进安全技术

7.云计算的主要服务模式

第一层：IaaS     第二层：SaaS     第三层：PaaS

1.IaaS(基础设施即服务)

关键技术：虚拟化技术

2.PaaS(平台及服务)（编程）数据库服务、web技术

特点：  （1）简化开发人员

           （2）提供PC端或软件端的开发套件

           （3）丰富的开发环境

         （4）完全可托管的数据库服务

         （5）可配置式的应用程序的构建

         （6）支持多语言的开发

         （7）面向市场

关键技术：    （1）分布式计算

                  （2）分布式存储

3.SaaS（软件即服务）

关键技术：多租户技术

4.三种服务的区别

（1）IaaS——最底层

提供基础设施服务

（2）PaaS——提供软件

部署平台

（3）SaaS——拿来即用

例：云计算服务=做饭做菜

云计算服务提供商=饭店

IaaS=提供厨房、锅具等，不提供食材和技术

PaaS——提供厨房、切好的食材，不提供：技术

SaaS：提供厨房、食材、技术

IaaS——租车

PaaS——租车+司机

SaaS——坐公交

第二章  大数据

1.大数据的定义：

在一定时间范围内用常规软件工具进行捕捉，管理和处理数据集合。

经典案例：    1.啤酒和尿布

                  2.谷歌和流感

2.大数据的范围：

采集、储存、搜索、共享、传输、分析和可视化

内存：运行速度

储存：储存容量

海量数据产生：     （1）来自大人群互联网

                         （2）来自大量传感器机械

                         （3）科学研究及行业多结构专业数据

1887年—1890年：电功器

19444年：预见大数据

1997年：用大数据描述超级计算机产生的大量信息

2003—2006年：谷歌提出大数据可重用方案

2008年：提出大数据概念

2009年：大数据逐渐走进互联网

2012年：大数据成为一种新的资产类别

2013年大数据元年

1zb=10亿TB

各数据量单位：KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB

单位以PB衡量的数据可成为大数据

1位（二进制0或1）

1字节（8位）——1个英文字母或二进制8位数

1文字=2字节=16位

第四范式

第一范式（实验）→第二范式（理论）→第三范式（计算）→第四范式（数据）

3.大数据的特征

大量化：存储量大、增量大

多样化：来源多（搜索引擎、社交网络）格式多（结构化数据、非结构化数据）

快速化

有价值

4.大数据的关键技术

1.大数据预处理技术：

数据采集

数据存取

基础架构支持

计算结果展现

2.大数据存储技术：

存储设备能持久可靠的存储数据

提供可伸缩接口

提供高数查询，更新操作

3.大数据分析技术：

数据处理

统计与分析

数据挖掘

模型预测

4.大数据计算技术

大数据的典型计算架构

Hadoop→处理本地数据

spark→收集并更新

storm→延迟毫秒级

第三章 虚拟化技术

1. 虚拟化技术的概念 ：

虚拟化是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。

CPU的虚拟化技术可以单CPU模拟多CPU并行，允许一个平台同时运行多个操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。

虚拟化技术与多任务以及超线程技术是完全不同的。

多任务是指在一个操作系统中多个程序同时并行运行，而在虚

2.什么是虚拟化:

作为一种计算机资源管理技术将各种IT实体资源抽象转化为另一种形式的技术。

3.云计算与虚拟化的关系:

    云计算1.0—以虚拟化为核心

云计算2.0—以资源为核心

云计算3.0—以应用为核心

关系：

云计算：一种服务

虚拟化：一种技术基础

4.物理机：操作系统（Host OS）硬件(Host Machine)

5.虚拟机：操作系统（Guest OS）,虚拟机（Guest Machine）,硬件（Host Machine）,VMM(虚拟监控器)

物理机 操作系统 Host OS 硬件 Host Machine

虚拟机 操作系统          操作系统        虚拟机 Guest OS         Guest OS         Guest Machine 硬件            虚拟机          VMM虚拟监控器 Guest Machine    Host Machine

 

6.虚拟化的特点：

（1）寄居虚拟化：

     在主操作系统上安装和运行的一个程序VM ware,

work station等（操作系统）

特点：

（1）简单易于实现

（2）安装和运行应用程序时，依赖于主操作系统对设备   的支持

(3)有俩层OS，管理开销大，性能损耗大

      (4)虚拟机对各种物理主机的调用，都是通过虚拟化层和宿主OS一起调用完成

（2）裸金属虚拟化：在硬件上部署虚拟化层

操作系统:VM ware  ESX  Xen等

应用           应用 客户操作系统     客户操作系统           虚拟化层 CPU、内存、显卡等 CPU、内存、显卡等

 

特点：

（1）不依赖于操作系统

    （2）支持多种操作系统

（3）依赖虚拟层内核和服务控制台进行管理

（4）需要对虚拟层进行内核开发

（3）混合虚拟化：插入内核模块

操作系统：KVM

应用   应用   应用 Host OS    Host OS    Host OS 宿主操作系统     内核（虚拟硬件管理） CPU、内存、显卡等 CPU、内存、显卡等

 

特点：（1）相对于寄居虚拟化性能高

         （2）相对于裸金属虚拟化不需要内核开发

         （3）支持多种操作系统

         （4）需要底层硬件支持虚拟扩展功能

7．虚拟化层架构：

全虚拟化（KVM）、半虚拟化（Xen）、硬件辅助虚拟化

1. 全虚拟化：即所抽象的VM具有完全的物理特性，虚拟化层负责捕获CPU指令，为指令访问硬件充当媒介

Linux OS VM1           Windows OS VM2 Linux OS (KVM) CPU、显卡、内存等

 

特点：

（1）OS无需修改

（2）速度和功能比较好，使用非常简单

（3）移植性好

(2)半虚拟化

Linux OS VM1            Windows OS VM2           VMM(Xen)                   CPU、显卡等

 

特点：

1. 架构更简单
2. 对OS进行修改，用户体验比较麻烦

（3）速度上占一定优势

（3）硬件辅助虚拟化

8.虚拟化技术的优势和劣势

（1）优势：

      减少物理资源的投入，节约成本

      虚拟数据资源迁移方便

      提高物理资源的使用率

      更加环保，节约能源

易于自动化维护与操作，减少维护成本

数据安全更有保障

1. 劣势：

1.目前业界没有统一的虚拟化技术标准与平台，没  

有开放的协议

2.如果没有对数据进行备份应用虚拟化技术会存在

一定风险

3.虚拟化数据中心的迁移，特别是对在线服务的迁移， 对用户影响巨大

9.全虚拟化与半虚拟化：

KVM(性能)

（1）全虚拟化

（2）内置在内核中

（3）便于版本安装升级维护

（4）性能高

Xen（安全）

（1）半虚拟化

（2）需要修改内核

（3）更新版本，重新编辑整个内核

（4）隔离

第四章  数据中心

数据中心的主要职能是存储和处理数据，传统的数据处理都是在硬件设备上加大投入，以保证数据中心的有效运行。近年来，随着大数据等新兴IT技术的发展与成熟，使得数据中心获得了空前的发展，无论是硬件设备还是软件都取得了很大进步。

数据中心集成是数据的存储中心、处理中心、中转中心和管理中心，将一个或多个数据信息转向数据中心寻求数据与信息服务，从而做到请求中转和数据中转等。数据中心作为业务承载平台和网络控制枢纽，是企业IT转型成功的基础和保障。

随着信息技术的快速发展，企业的信息数据不断增加，数据之间的交换、共享、备份、存储需要更多的硬件设备支持，这无疑是增加了企业的运营成本。因为数据中心建设周期长、投资大，技术发展变化快，并且涉及的技术领域众多，所以企业需要一个专业团队，帮助其从设计、规划、部署、运维提供端到端的解决方案。数据中心的集成是在现有硬件设备的基础上，对数据中心进行整合优化，降低能源消耗，充分利用资源，提高运行效率，帮助企业推动业务发展。

基于当前数据中心的现状和挑战，数据中心未来的发展趋势将呈现以下几大方面：

1. 绿色化

数据中心规模的剧增带来了运营成本的大幅提高，其中电力成本是最主要的运营成本，如何提升电源利用效率(PUE，越低越好)成为各大数据中心大户的一大课题。

2. 模块化部署

云计算和移动互联网的发展给数据中心的部署就绪时间提出了更高要求，目前整机柜、集装箱部署模式可将数据中心的建设周期大幅缩短。

3. 自动化

随着数据中心规模的不断扩大，传统模式所需的运维力量大幅增加，成本不断增加。

4. 虚拟化与软件定义化

虚拟化可以极大地提高数据中心的资源利用效率，并已得到广泛应用。而软件定义技术，为大规模用户提供快速灵活的多租户异构资源配置、隔离和供应，为客户快速提供虚拟化数据中心业务，让每个客户都感觉拥有独立的一体化数据中心。

5. 集约化和集群化部署

集群化部署，相当于将多个数据中心形成一体，大二层网络建设成为趋势，SDN在这里有用武之地。而集约化部署则可以节省数据中心之间的交互成本，也有利于降低部署和运维成本。

6. 安全与可信

安全性不仅是指防火墙、IPS/IDS、入侵检测、防病毒等安全防范措施，更包括火灾、飓风及其他灾害应对。因此，数据中心建设在初始阶段就应该构建可靠的灾难恢复方案，或建立异地的灾难备份中心