大数据与云计算

第一章.云计算

云计算概述

无处不在的云计算：电子日历、地图导航、钉钉……

什么是云计算？

像水电煤一样利用你的IT资源

水电煤——资源型产品

IT资源——计算机存储网络资源

关键词：按需使用，超大规模、高弹性

定义：指按需所雇佣IT资源和应用程序，通过互联网，按使用量付费

四种云

1. 公有云——提供公共的IT资源

缺点：保密性较低

1. 私有云——提供给政府，学校等地

优点：保密性高

1. 社区云——研究人员使用
2. 混合云——包含任意两种以上

生活中的例子：

1. 出行论

自己买车（私有云）开车（公有云）————混合云

1. 吃饭论

餐厅——公有云

在家做饭——私有云

在家+厨师——混合云

1. 酒店论

酒店——公有云

家——私有云

一.云计算的基本特征

1.资源无限

2.提供自助式服务

3.远程提供服务

4.资源可控

5.按使用量付费

二.云计算的发展背景

1.20世纪60年代，计算机革命

2.20世纪 90年代，互联网革命

  1994年——Weblo（单向传递）

2004年——Weblo（双向传递）

3.2010年，移动互联网革命

三.云计算模下的IT建设

特点：1开放硬件平台，软件设计与硬件解耦

2.分布式设计、软件定义存储

3.IT建设的传统IEO架构，转向互联网架构

4.集中资源池的共享、虚拟化、分时共享

5.动态调整、弹性伸缩、低成本标准化硬件

6.芯片信介质取得突破（云计算IT的基础）

优点：省时，省力、省钱、省电、省人、省地。

四.云计算的特点

1.虚拟化技术

2.动态可扩展性

3.按需部署

4.灵活性高

5.可靠性高

6.性价比高

7.地理分布

8.先进的安全技术

五.云计算的主要服务模式

1.IaaS【第一层】（基础设施即服务）租用

关键技术：虚拟化技术

2.PaaS【第二层】（平台即服务）编程

数据库服务、Web应用

特点：1简化开发人员

          2.提供pc端或软件端的开发套件

          3.丰富的开发环境

          4.完全可托管的数据库服务

          5.可配置式的应用程序的构建

          6.支持多语言开发

          7.面向市场

关键技术：1.分布式计算2.分布式存储

3.SaaS【第三层】（软件即服务）用户

关键技术：多租户技术

4.三种服务的区别

（1）IaaS——最低层——提供基础服务

（2）PaaS——提供软件——部署平台

（3）SaaS——拿来即用

例：云计算服务=做饭做菜

  云计算服务提供商=饭店

  IaaS=提供厨房、锅具等、不提供食材和技术。

 PaaS——提供厨房、切好的食物  不提供技术

SaaS——提供厨房、食材、技术

IaaS——租车

PaaS——租车+司机

SaaS——坐公交

第二章大数据技术的概述

2.1大数据的定义：

在一定的时间范围内用常规软件工具进行捕获，管理和处理数据集合。

经典案例：1啤酒与尿布

          2.谷歌与流感

大数据的范围：采集，储存，搜索，共享，传输，分析和可视化。

内存：运行速度

储存：储存容量

海量数据的产生：1.来自大人群互联网

                             2.来自大量传感器机械

                              3.科学研究及行业多结构专业数据

大数据概念的提出：

1887——1890年：电功器

1944年：预见大数据

1997年：用大数据描述超级计算机产生的大量信息

2003——2006：谷歌提出大数据可重用方案

2008年：提出大数据概念

2009年大叔级逐渐走进互联网

2012年：大叔级成为一种新的资产类别

2013年：大数据元年

1ZB=10亿TB

各数据计量单位：KB<MB<GB<TB<PB<EB<ZB<YB<NB<DB

单位以PB衡量的书记可称为大数据

1位（二进制1或0）

1字节（8位）——>1个英文字母或2进制8位数

1文字=2字节=16位

2.2第四范式

1. 实验（第一范式）
2. 理论（第二范式）
3. 计算（第三范式）
4. 数据（第四范式）

2.3大数据的特征：

1.大量化

（1）储存量大

（2）增量大

2.多样化

  （1）来源多

     1搜索引擎

     2社交网络

1. 格式多

1结构化数据

2非结构化数据

   3.快速化 有价值

企业推动大数据：腾讯、阿里、数据库、ETC、谷歌、华为。

2.3大数据的关键技术：

• 大数据预处理技术：1数据采集 2.数据存取 3.基础架构支持  4.计算机结果展示
• 大数据存储技术：1储存设备能持久可靠的存储数据2.提供可伸缩接口3.提供高效查询、更新等操作
• 大数据分析技术：1数据处理2.统计与分析3.数据挖掘4.模型预测
• 大数据计算技术

2.4大数据的典型计算架构：

Hadoop——处理本地数据

Spark——收集并更新

Storm——延迟毫秒级

第三章.虚拟化技术

3.1什么是虚拟化技术：

作为一种计算机资源管理技术，将各种IT实体资源抽象转化为另一种形式的技术

3.2云计算与虚拟化有什么关系？

云计算1.0——以虚拟化为核心

云计算2.0——以资源为核心

云计算3.0——以应用为核心

云计算：一种服务

虚拟化：一种技术基础

物理机   操作系统（Host  OS）

             硬件（Host  Machine）

虚拟机   操作系统（Guest  OS）

              虚拟机(Guest  Machine)

              VMM（虚拟监控器）

              硬件 （Host  Machine）

3.3虚拟化的特点

1.分区——可分为多个虚拟机

2.隔离——虚拟机与虚拟机之间相互独立

3.封装——独立的文件夹形式

4.相对于硬件独立——屏蔽底层硬件不兼容问题

3.4虚拟化类型

1.寄居虚拟化——在主操作系统上安装和运行一个程序

操作系统：VMware、Workstation等

特点：1.简单易于实现

           2.安装和运行程序是，依赖于主操作系统对设备的支持

           3.有两层OS，管理开销大，性能损耗大

           4.虚拟机对各种物理主机的调用都是通过虚拟化层和宿主OS一起调用完成

 2.裸金属虚拟化——在硬件上部署虚拟化层   

操作系统：VMware、Esx、Xen等

特点：1.不依赖于操作系统

          2.支持多种操作系统

          3.依赖虚拟化层内核和服务控制台进行管理

          4.需要对虚拟层进行内核开发

3.混合虚拟化——插入内核模块

操作系统：Kvm

特点：1.相对于寄居虚拟化性能高

          2.相对于裸金属虚拟化不需要内核开发

          3.支持多种操作系统

          4.需要底层硬件支持虚拟扩展功能

3.5虚拟化层架构

全虚拟化——Kvm、半虚拟化——Xen、硬件辅助虚拟化

1.全虚拟化：即所抽象的VM既有完全的物理特征，虚拟化层负责捕获

                  cpu指令，为指令访问硬件充当媒介

特点：1.OS无需修改

          2.速度和功能比较好，使用非常简单

          3.移植性好

2.半虚拟化：

特点：1.架构更简单

          2.对OS进行修改，用户体验比较麻烦

          3.速度上占一定优势

3.硬件辅助虚拟化

3.6虚拟化技术的优势和劣势

1.优势：(1)减少物理资源的投入，节约成本

           （2）虚拟数据资源迁移方便

           （3）提高物理资源的使用率

           （4）更加环保，节省能源

           （5）易于自动化维护与操作，减少维护成本

           （6）数据安全更有保障

2.劣势：  （1）目前业界没有统一的虚拟化技术标准与平台没有开放的

                协议。

                （2）如果没有对数据进行备份，应用虚拟化技术会存在一定的风险

                （3）虚拟数据中心的迁移，特别是对在线服务的迁移，对用户影响巨大

3.7全虚拟化与半虚拟化举例对比

KVM(性能)

1.全虚拟化

2.内置在内核中

3.便于版本安装、升级、维护

4.性能高

Xen（安全）

1.半虚拟化

2.需要修改内核

3.更新版本，重新编辑整个内核

4.隔离好

第四章.云计算与大数据技术应用 

4.1数据中心的概念

数据中心，顾名思义就是数据的中心，是处理和存储海量数据的地方，英文全称为Data Center。用专业的名词解释，数据中心是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。

4.2数据中心的发展历程

1.巨型机时代

2.pc时代

3.云计算大数据时代

4.3数据中心的基本单元----服务器

1.塔式服务器

2.机架式服务器

4.4数据中心的主要节能措施

1.调高数据中心温度

2.评估数据中心设备运行情况

3.虚拟化技术的应用

4.及时关闭不必要的用电设备