大数据与云计算基础了解

大数据与云计算的关系

云计算长定义和短定义：

长定义：云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。
短定义：云计算是通过网络按需提供可动态伸缩的廉价计算服务。

云计算的7个特点

超大规模，虚拟化，高可靠性，通用性，高可伸缩性，按需服务，极其廉价。

云计算按服务类型大致分为三类：

将软件作为服务
将平台作为服务
将基础设施作为服务

国外云计算的先行者：

亚马逊的云计算称为Amazon Web Services（AWS）

谷歌是最大的云计算技术的使用者

微软紧跟云计算步伐，推出了Windows Azure操作系统

云计算实现机制

管理中间件层和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供

SO构建层（封装成标准的WebServices服务）：

• 服务接口
• 服务注册
• 服务查找
• 服务访问
• 服务工作流

管理中间件层（实现云计算的资源管理）：

• 用户管理（提供用户交互接口，识别用户身份，创建执行环境，计费等）：账号管理，用户环境配置，用户交互管理，使用计费
• 任务管理（用户任务映像的部署和管理，任务调度，任务执行，任务生命期管理）：映像部署和管理，任务调度，任务执行，生命期管理
• 资源管理（均衡使用云资源节点，检测节点故障并试图恢复或屏蔽之并对资源的使用用情况进行监视统计）：负载均衡，故障检测，故障恢复，监视统计
• 安全管理：身份认证，访问授权，综合防护，安全审计

资源池层（将大量相同类型的资源构成同构或接近同构的资源池）：

• 计算资源池
• 存储资源池
• 网络资源池
• 数据资源池
• 软件资源池

物理资源层（计算机，存储器，网路设施，数据库和软件）：

• 计算机
• 存储器
• 网络设施
• 数据库
• 软件

云计算压倒性的成本优势：

提供弹性的服务，在超大资源池中动态分配和释放资源
云计算平台的规模极大，比较容易平稳
整体负载资源利用率达到80%左右，是传统模式5～7倍