大数据第一章

---

前言

本文章为学习而设，作者不保证文章内容正确性

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、云计算是什么？

       云计算是基于互联网的服务的增加、使用和交付模式，通常涉及通过互联网来提供动态、易拓展且经常是虚拟化的资源。云计算是传统计算机和网络技术发展融合的产物，它意味着计算能力也可作为一种商品通过互联网进行流通。
       云计算并不是对某一项独立技术的称呼，而是对实现元计算模式所需要的所有技术的总称。

1、云计算关键技术

2、云计算主要特点

3、云计算技术分类

3.1. 按技术路线分类

3.1.1. 资源整合型云计算

       这种类型的元计算系统在技术实现方面大多体现为集群架构，通过将大量节点的计算资源和存储资源整合后输出。这类系统通常能实现跨节点弹性化的资源池构建，核心技术为分布式计算和存储技术。MPI、Hadoop、HPCC、Storm等都可以被分类为资源整合型云计算系统

3.1.2. 资源切分型云计算

       这种类型最为典型的就是虚拟化系统，这类云计算系统通过系统虚拟化实现对单个服务器资源的弹性化切分，从而有效地利用服务器资源，其核心计算为虚拟化技术

3.1.2.1.优点

       用户的系统可以不作任何改变接入采用虚拟化技术的云系统，是目前应用较为广泛的技术，特别是在桌面云计算技术上应用得较为成功

3.1.2.2.缺点

       跨节点的资源整合代价较大。KVM、VMware都是这类技术的代表

3.2. 按服务对象分类

2.1. 公有云

       指服务对象是面向公众的云计算服务，公有云对云计算系统的稳定性、安全性和并发服务由更高的要求。

3.2.2. 私有云

       指主要服务于某一组织内部的云计算服务，其服务并不先公众开放，如企业、政府内部的云服务

3.2.3. 混合云

       是把公有云和私有云结合在一起的方式。在这个模式中，用户通常将非企业关键信息外包，并在公有云上处理，而掌握企业关键服务及数据的内容则放在私有云上处理

3.2.4. 社区

       是公有云范涛内的一个组成部分。它由众多利益相仿的组织掌控及使用，其目的是实现云计算的一些优势，例如特定安全要求、共同宗旨等。社区成员共同使用云数据及应用程序

3.3.按资源封装的层次分类

3.3.1. 基础设施即服务

       把单纯的计算和存储资源不经封装地直接通过网络以服务的形式提供给用户使用

3.3.2.平台即服务

       计算和存储资源经封装后，以某种接口或协议的形式提供给用户调用，资源的使用者不再直接面对底层资源

3.3.3.软件即服务

       将计算和存储资源封装为用户可以直接使用的应用并通过网络提供给用户，SaaS面向的服务对象为最终用户，用户只是对软件功能进行使用，无需了解任何云计算系统的内部结构也不需要用户具有专业的技术开发能力

二、集群系统概述

       集群系统是一组独立的计算机（节点）的集合体，节点间通过高性能的互联网连接，各节点除了作为一个单一的计算资源供交互式用户使用外，还可以协同工作，并表示为一个单一的、集中的计算资源，供并行计算任务使用。集群系统是一种造价低廉、易于构建并且具有较好可扩放性的体系结构

1.集群系统的重要特征

•        集群系统的各节点都是一个完整的系统，节点可以是工作证，也可以是PC或SMP器；
•        互联网络通常使用商品化网络，如以太网、FDDI、光纤通道和ATM开关等，部分商用集群系统也采用专用网络互联
•        网络接口与节点的I/O总线松耦合相连；
•        各节点有一个本地磁盘
•        各节点有自己的完整的操作系统

2.集群系统的分类

• 高可用性集群系统
• 负载均衡集群系统
• 高性能集群系统
• 虚拟化集群系统

三、分布式系统中计算和数据的协作机制

       在分布式系统中实施计算都存在计算如何获得数据的问题，在面向计算时代这一问题并不突出，面向数据时代就成为必须考虑的问题。通常这种机制的实现与系统的架构有紧密的关系，系统的基础架构决定了系统计算和数据的基本协助模式

1.基于计算切分的分布式计算（MPI）

       计算程序切分，集中存储，主要面向计算密集的任务

2.基于计算和数据切合的混合型分布式计算技术（网格计算）

       将大量异构计算机设备的资源整合起来，构建一个具有强大计算能力的超级计算系统

3.基于数据切分的分布式计算技术（Hadoop、Dyname、Cassandro、Google）

4.三种分布式系统的对比

四、分布式系统中计算和数据的协助机制

1.物联网

       云物联网（The Internet of Things），简称IOT.这里由两层意思。第一，物联网的核心和基础仍然是互联网，是在互联网基础之上的延伸和扩展的一种网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。
       物联网即通过射频识别（RFID）装置、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络