云计算笔记01——大数据与云计算

大数据时代

大数据计量单位

• 1KB = 1024Bit
• 1 KB = 1,024 Bytes
• 1 MB = 1,024 KB
• 1 GB = 1,024 MB
• 1 TB = 1,024 GB
• 1 PB = 1,024 TB
• 1 EB = 1,024 PB
• 1 ZB = 1,024 EB
• 1 YB = 1,024 ZB

为什么全球数据量增长如此之快?

• 数据产生方式的改变

• 人类的活动越来越依赖数据

  1. 人类的日常生活已经与数据密不可分
  2. 科学研究进入了“数据科学”时代
  3. 各行各业也越来越依赖大数据手段来开展工作

大数据的定义

海量数据或巨量数据，其规模巨大到无法通过目前主流的计算机系统在合理时间内获取、存储、管理、处理并提炼以帮助使用者决策。

特点(4V+1C)

1. 价值密度低(Value)
   在成本可接受的条件下，通过快速采集、发现和分析，从大量、多种类别的数据中提取价值的体系架构。
2. 快速(Valocity)
   数据增长速度快，而且越新的数据价值越大，这就要求对数据的处理速度也要快。
3. 数据量大(Volume)
   存储的数据量巨大，PB(1PB=2²⁰GB)级别是常态，因而对其分析的计算量也大。
4. 多样（Variety)
   数据的来源及格式多样，数据格式除了传统的结构化数据外，还包括半结构化或非结构化数据，比如用户上传的音频和视频内容。
5. 复杂度(Complexity)
   对数据的处理和分析的难度大。
   

大数据的意义和价值

云计算

长定义

云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。

短定义

云计算是通过网络按需提供可动态伸缩的廉价计算服务。

云计算的七个特点

**即为超大规模、虚拟化、高可靠性、通用性、高可伸缩性、按需服务、极其廉价**

云计算按照需求服务可分为三类

将软件作为服务(SAAS)(Software as a Service)

针对性更强，它将某些特定应用软件功能封装成服务
如：Salesforce online CRM

将平台作为服务(PaaS(Platform as a Service))

对资源的抽象层次更进一步，提供用户应用程序运行环境
如：Google App Engine

• (Google App Engine 是一种让您可以在 Google 的基础架构上运行您的网络应用程序。Google App Engine 应用程序易于构建和维护，并可根据您的访问量和数据存储需要的增长轻松扩展。使用 Google App Engine，将不再需要维护服务器：您只需上传您的应用程序，它便可立即为您的用户提供服务。)

Microsoft Windows Azure

将基础设施作为服务(Iaas(Infrastructure as a Service))

将硬件设备等基础资源封装成服务供用户使用
如：Amazon EC2/S3

• amazon (S3) 是一个公开的服务，Web 应用程序开发人员可以使用它存储数字资产，包括图片、视频、音乐和文档。 S3 提供一个 RESTful API 以编程方式实现与该服务的交互。

云计算发展现状

• 最大的云计算技术的使用者
• 谷歌搜索引擎就建立在分布在200多个站点、超过100万台的服务器的支撑之上，而且这些设施的数量正在迅猛增长
• 采用Google Docs之类的应用，用户数据会保存在互联网上的某个位置，可以通过任何一个与互联网相连的终端十分便利地访问和共享这些数据
• 谷歌已经允许第三方在谷歌的云计算中通过Google App Engine运行大型并行应用程序
• 发表学术论文的形式公开其云计算三大法宝：GFS、MapReduce和Bigtable，并在美国、中国等高校开设如何进行云计算编程的课程

• 微软于2008年10月推出了Windows Azure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后，微软的又一次颠覆性转型。
• 微软的云平台包括几十万台服务器.
• Azure的底层是微软全球基础服务系统，由遍布全球的第四代数据中心构成。
• 微软将为Windows Azure用户推出许多新的功能，不但能更简单地将现有的应用程序转移到云中，而且可以加强云托管应用程序的可用服务，充分体现出微软的“云”+“端”战略。
• 在中国，微软2014年3月27日宣布由世纪互联负责运营的Microsoft Azure公有云服务正式商用，这是国内首个正式商用的国际公有云服务平台。

云计算实现机制

云计算的管理中间件层

资源管理

均衡使用云资源节点，检测节点故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计

用户管理

实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等

任务管理

执行用户或应用提交的任务，包括完 成用户任务映象（Image）的部署和管理、任务调度、任务执行、任务生命期管理等

安全管理

保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等

IaaS实现机制

用户交互接口向应用以Web Services方式提供访问接口，获取用户需求

• 服务目录是用户可以访问的服务清单。
• 系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。
• 配置工具负责在分配的节点上准备任务运行环境。
• 监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计

云计算有压倒性的成本优势

• 提供弹性的服务，在超大资源池中动态分配和释放资源
• 云计算平台的规模极大，比较容易平稳整体负载
• 资源利用率达到80%左右，是传统模式5～7倍