第一次作业

云计算与大数据技术与应用 第一次作业

云计算概述

什么是云计算

云计算定义

云计算（cloud computing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内（几秒钟）完成对数以万计的数据的处理，从而达到强大的网络服务。
现阶段所说的云服务已经不单单是一种分布式计算，而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。

云计算特点

云计算的可贵之处在于高灵活性、可扩展性和高性比等，与传统的网络应用模式相比，其具有如下优势与特点：
1、虚拟化技术。
必须强调的是，虚拟化突破了时间、空间的界限，是云计算最为显著的特点，虚拟化技术包括应用虚拟和资源虚拟两种。众所周知，物理平台与应用部署的环境在空间上是没有任何联系的，正是通过虚拟平台对相应终端操作完成数据备份、迁移和扩展等。
2、动态可扩展。
云计算具有高效的运算能力，在原有服务器基础上增加云计算功能能够使计算速度迅速提高，最终实现动态扩展虚拟化的层次达到对应用进行扩展的目的。
3、按需部署。
计算机包含了许多应用、程序软件等，不同的应用对应的数据资源库不同，所以用户运行不同的应用需要较强的计算能力对资源进行部署，而云计算平台能够根据用户的需求快速配备计算能力及资源。
4、灵活性高。
目前市场上大多数IT资源、软、硬件都支持虚拟化，比如存储网络、操作系统和开发软、硬件等。虚拟化要素统一放在云系统资源虚拟池当中进行管理，可见云计算的兼容性非常强，不仅可以兼容低配置机器、不同厂商的硬件产品，还能够外设获得更高性能计算。
5、可靠性高。
倘若服务器故障也不影响计算与应用的正常运行。因为单点服务器出现故障可以通过虚拟化技术将分布在不同物理服务器上面的应用进行恢复或利用动态扩展功能部署新的服务器进行计算。
6、性价比高。
将资源放在虚拟资源池中统一管理在一定程度上优化了物理资源，用户不再需要昂贵、存储空间大的主机，可以选择相对廉价的PC组成云，一方面减少费用，另一方面计算性能不逊于大型主机。
7、可扩展性。
用户可以利用应用软件的快速部署条件来更为简单快捷的将自身所需的已有业务以及新业务进行扩展。如，计算机云计算系统中出现设备的故障，对于用户来说，无论是在计算机层面上，亦或是在具体运用上均不会受到阻碍，可以利用计算机云计算具有的动态扩展功能来对其他服务器开展有效扩展。这样一来就能够确保任务得以有序完成。在对虚拟化资源进行动态扩展的情况下，同时能够高效扩展应用，提高计算机云计算的操作水平

云计算概念模型

从以上云计算的概念可知，云计算的实质是网络下的应用，其业务实现的概念模型，如图1-1所示。云计算包含了多层含义。
1)用户的公共性。云计算面向各类用户，包括企业、政府部门、学术机构、个人等用户，也包括应用软件、中间件平台等“用户”。中间件是一种独立的系统软件或服务程序，分。布式应用软件借助这种软件在不同的技术之间共享资源。中间件位于客户机/服务器的操作系。统之上，管理计算机资源和网络通信，它是连接两个独立应用程序或独立系统的软件。
2)设备的多样性。云计算用于提供服务的设备是多样的，既包括各种规模的服务器、主机、存储设备，也包括各种类型的终端设备，如计算机、智能手机、各种智能传感器、RFID (Radio Frequency Identification, 射频识别。它是一种通信技术，可通过无线电信号识别特定目标并读写相关数据，而无须在识别系统与特定目标之间建立机械或光学接触)设备等。
3)商业模式的服务性。云计算的服务特性体现在两个方面:简化和标准的服务接口、按需计费的商业模式。
4)提供方式的灵活性。云计算既可以作为一种公用设施，提供社会服务，即“公有2云”，也可以作为企业信息化的集中计算平台来提供，即“私有云”。

云计算技术发展背景

从技术上来说，云计算的出现得益于网络带宽的飞速增长和互联网的飞速发展。网络带宽的迅速增长使得在互联网环境下进行快速数据处理成为可能。互联网提供了一种 新的数据浏览与交流的方式，用户既是信息的浏览者也是信息的创造者，从而产生了海量数据。这两个原因造成了使用智能终端和互联网的用户剧增，互联网成为用户日常生活所不可或缺的基础设施，得到了迅猛发展，促使了云计算的产生，并且已成为种基础设施。

（1）飞速发展的网络技术

20世纪60年代发生了第波信息化革命，即计算机革命，很多传统企业紧跟这轮信息化的浪潮，将计算机广泛应用到业务当中。20世纪90年代发生了第二波信息化革命， 即互联网革命。1987年9 月14日发出了中国第一封电子邮件:“Across the Great Wall we can reachevery comer in the world. (越过长城，走向世界)”， 揭开了中国人使用互联网的序幕，当时互联网的通信速率为300bitls。

（2）万维网的发明与发展

1989年，在政洲粒于物理研究所工作的蒂姆.伯纳斯.李出于高能物理研究的需要发明了万维网(Worid Wide Web), 也称为““Web”“www”“W3",简称为Web.4年后，美国网景公司推出了万维网产品Mosaic浏览器，顿时风靡全世界。万维网的诞生给全理信息的交流和传播带来了革命性的变化，一举打开了 人们通过互联网获取信息的方便之门。
万维网不等同于互联网，万维网只是互联网所能提供的服务之-一，是靠着互联网运行的一项服务。 也许大家想不到，尽管伯纳斯●李发明的万维网在20多年内创造出了无数的财富，但是创造者本人却坚持不对万维网申请专利，坚持让所有人都可以不付费而使用。由于他的杰出贡献，他被称为“互联网之父”。
Weh 1.0时代开始于1994 年，其主要特征是大量使用静态的HTML网页来发布信息，并开始使用浏览器来获取信息，这个时候主要是单向的信息传递。Web 1.0 的本质是聚合、联合、搜索，其聚合的对象是巨量、无序的互联网信息。Web 1.0 只解决了人对信息搜索、聚合的需求，而没有解决人与人之间沟通、互动和参与的需求。这个时期诞生了百度、Google、 亚马逊等知名互联网企业。
在21世纪初期，正当互联网经济的泡沫破碎之际，Web 2.0 (始于2004年3月)的兴起让网络迎来了一个新的发展高峰期。在Web 2.0中，软件被当成-种服务， 万维网演化成了一个成熟的、为最终用户提供网络应用的服务平台，强调用户的参与、在线的网络协作、数据存储的网络化、社会关系网络、简易信息聚合(Really Simple Syndication, RSS) 应用以及文件的共享。这个时候互联网上的信息传递变成了双向传递，用户既是信息的浏览者也是信息的创造者，Web2.0模式大大激发了创造和创新的积极性，使互联网变得生机勃勃。
在Web 2.0时代，Flickr、 Myspace、 Facebook、YouTube、 Blog、Wiki 等社交网站的访问量已经远远超过传统门户网站。用户数量多以及用户参与程度高是这些网站的特点。因此，如何有效地为如此巨大的用户群体服务，让他们参与时能够享受方便、快捷的服务，成为这些网站不得不解决的个问题。 为了解决大型网站的访问量大、并发量高、海量数据的问题，- 般会考虑业务拆分和分布式部署，可以把那些关联不太大的业务独立出来，部署到不同的机器上，从而实现大规模的分布式系统。这也促进了云计算与大数据的产生。

云计算的主要服务模式

IaaS: Infrastructure-as-a-Service（基础设施即服务）

第一层叫做IaaS，有时候也叫做Hardware-as-a-Service，几年前如果你想在办公室或者公司的网站上运行一些企业应用，你需要去买服务器，或者别的高昂的硬件来控制本地应用，让你的业务运行起来。
　 但是现在有IaaS，你可以将硬件外包到别的地方去。IaaS公司会提供场外服务器，存储和网络硬件，你可以租用。节省了维护成本和办公场地，公司可以在任何时候利用这些硬件来运行其应用。
　　一些大的IaaS公司包括Amazon, Microsoft, VMWare, Rackspace和Red Hat.不过这些公司又都有自己的专长，比如Amazon和微软给你提供的不只是IaaS，他们还会将其计算能力出租给你来host你的网站。

PaaS: Platform-as-a-Service（平台即服务）

第二层就是所谓的PaaS，某些时候也叫做中间件。你公司所有的开发都可以在这一层进行，节省了时间和资源。
　　PaaS公司在网上提供各种开发和分发应用的解决方案，比如虚拟服务器和操作系统。这节省了你在硬件上的费用，也让分散的工作室之间的合作变得更加容易。网页应用管理，应用设计，应用虚拟主机，存储，安全以及应用开发协作工具等。
　　一些大的PaaS提供者有Google App Engine,Microsoft Azure，Force.com,Heroku，Engine Yard。最近兴起的公司有AppFog, Mendix 和 Standing Cloud

SaaS: Software-as-a-Service（软件即服务）

第三层也就是所谓SaaS。这一层是和你的生活每天接触的一层，大多是通过网页浏览器来接入。任何一个远程服务器上的应用都可以通过网络来运行，就是SaaS了。
　　你消费的服务完全是从网页如Netflix, MOG, Google Apps, Box.net, Dropbox或者苹果的iCloud那里进入这些分类。尽管这些网页服务是用作商务和娱乐或者两者都有，但这也算是云技术的一部分。
　　一些用作商务的SaaS应用包括Citrix的GoToMeeting，Cisco的WebEx，Salesforce的CRM，ADP，Workday和SuccessFactors。
Iaas和Paas之间的比较
PaaS的主要作用是将一个开发和运行平台作为服务提供给用户，而IaaS的主要作用是提供虚拟机或者其他资源作为服务提供给用户。接下来，将在七个方面对PaaS和IaaS进行比较：

1. 开发环境：PaaS基本都会给开发者提供一整套包括IDE在内的开发和测试环境，而IaaS方面用户主要还是沿用之前比较熟悉那套开发环境，但是因为之前那套开发环境在和云的整合方面比较欠缺，所以使用起来不是很方便。
2. 支持的应用：因为IaaS主要是提供虚拟机，而且普通的虚拟机能支持多种操作系统，所以IaaS支持的应用的范围是非常广泛的。但如果要让一个应用能跑在某个PaaS平台不是一件轻松的事，因为不仅需要确保这个应用是基于这个平台所支持的语言，而且也要确保这个应用只能调用这个平台所支持的API，如果这个应用调用了平台所不支持的API，那么就需要对这个应用进行修改。
   　3) 开放标准：虽然很多IaaS平台都存在一定的私有功能，但是由于OVF等协议的存在，使得IaaS在跨平台和避免被供应商锁定这两面是稳步前进的。而PaaS平台的情况则不容乐观，因为不论是Google的App Engine，还是Salesforce的Force.com都存在一定的私有API。
3. 可伸缩性：PaaS平台会自动调整资源来帮助运行于其上的应用更好地应对突发流量。而IaaS平台则需要开发人员手动对资源进行调整才能应对。
4. 整合率和经济性： PaaS平台整合率是非常高，比如PaaS的代表Google App Engine能在一台服务器上承载成千上万的应用，而普通的IaaS平台的整合率最多也不会超过100，而且普遍在10左右，使得IaaS的经济性不如PaaS。
5. 计费和监管：因为PaaS平台在计费和监管这两方面不仅达到了IaaS平台所能企及的操作系统层面，比如，CPU和内存的使用量等，而且还能做到应用层面，比如，应用的反应时间（Response Time）或者应用所消耗的事务多少等，这将提高计费和管理的精确性。
6. 学习难度：因为在IaaS上面开发和管理应用和现有的方式比较接近，而PaaS上面开发则有可能需要学一门新的语言或者新的框架，所以IaaS学习难度更低。

PaaS IaaS
开发环境 完善 普通
支持的应用 有限 广
通用性 欠缺 稍好
可伸缩性 自动伸缩 手动伸缩
整合率和经济性 高整合率，更经济 低整合率
计费和监管 精细 简单
学习难度 略难 低
表1. PaaS和IaaS之间的比较

未来的PK
在当今云计算环境当中，IaaS是非常主流的，无论是Amazon EC2还是Linode或者Joyent等，都占有一席之地，但是随着Google的App Engine，Salesforce的Force.com还是微软的Windows Azure等PaaS平台的推出，使得PaaS也开始崭露头角。谈到这两者的未来，特别是这两者之间的竞争关系，我个人认为，短期而言，因为IaaS模式在支持的应用和学习难度这两方面的优势，使得IaaS将会在短期之内会成为开发者的首选，但是从长期而言，因为PaaS模式的高整合率所带来经济型使得如果PaaS能解决诸如通用性和支持的应用等方面的挑战，它将会替代IaaS成为开发者的“新宠”。
它们之间的关系主要可以从两个角度进行分析：其一是用户体验角度，从这个角度而言，它们之间关系是独立的，因为它们面对不同类型的用户。其二是技术角度，从这个角度而言，它们并不是简单的继承关系(Saa…

三种服务模式

根据现在最常用，也是比较权威的NIST(National Institute of Standards and Technology，美国国家标准技术研究院)定义，云计算主要分为三种服务模式，而且这个三层的分法重要是从用户体验的角度出发的：
Software as a Service，软件即服务，简称SaaS，这层的作用是将应用作为服务提供给客户。
Platform as a Service，平台即服务，简称PaaS，这层的作用是将一个开发平台作为服务提供给用户。
Infrastructure as a Service， 基础设施即服务，简称IaaS，这层的作用是提供虚拟机或者其他资源作为服务提供给用户。

一、SaaS模式

作用
通过SaaS这种模式，用户只要接上网络，并通过浏览器，就能直接使用在云端上运行的应用，而不需要顾虑类似安装等琐事，并且免去初期高昂的软硬件投入。SaaS主要面对的是普通的用户。
产品
主要产品包括：Salesforce Sales Cloud，Google Apps，Zimbra，Zoho和IBM Lotus Live等。
功能
谈到SaaS的功能，也可以认为是要实现SaaS服务，供应商需要完成那些功能?主要有四个方面：
随时随地访问：在任何时候或者任何地点，只要接上网络，用户就能访问这个SaaS服务。
支持公开协议：通过支持公开协议(比如HTML4/5)，能够方便用户使用。
安全保障：SaaS供应商需要提供一定的安全机制，不仅要使存储在云端的用户数据处于绝对安全的境地，而且也要在客户端实施一定的安全机制(比如HTTPS)来保护用户。

多住户(Multi-Tenant)机制：通过多住户机制，不仅能更经济地支撑庞大的用户规模，而且能提供一定的可定制性以满足用户的特殊需求。

二、PaaS模式

作用
通过PaaS这种模式，用户可以在一个包括SDK，文档和测试环境等在内的开发平台上非常方便地编写应用，而且不论是在部署，或者在运行的时候，用户都无需为服务器，操作系统，网络和存储等资源的管理操心，这些繁琐的工作都由PaaS供应商负责处理，而且PaaS在整合率上面非常惊人，比如一台运行Google App Engine的服务器能够支撑成千上万的应用，也就是说，PaaS是非常经济的。PaaS主要的用户是开发人员。

产品

主要产品包括：Google App Engine，force.com，heroku和Windows Azure Platform等。

功能

为了支撑着整个PaaS平台的运行，供应商需要提供那么功能?主要有四大功能：

友好的开发环境：通过提供SDK和IDE等工具来让用户能在本地方便地进行应用的开发和测试。

丰富的服务：PaaS平台会以API的形式将各种各样的服务提供给上层的应用。

自动的资源调度：也就是可伸缩这个特性，它将不仅能优化系统资源，而且能自动调整资源来帮助运行于其上的应用更好地应对突发流量。

精细的管理和监控：通过PaaS能够提供应用层的管理和监控，比如，能够观察应用运行的情况和具体数值(比如，吞吐量和反映时间)来更好地衡量应用的运行状态，还有能够通过精确计量应用使用所消耗的资源来更好地计费。

三、IaaS模式

作用
通过IaaS这种模式，用户可以从供应商那里获得他所需要的虚拟机或者存储等资源来装载相关的应用，同时这些基础设施的繁琐的管理工作将由IaaS供应商来处理。IaaS能通过它上面对虚拟机支持众多的应用。IaaS主要的用户是系统管理员。
产品
主要产品包括：Amazon EC2，Linode，Joyent，Rackspace，IBM Blue Cloud和Cisco UCS等。
功能
IaaS供应商需要在那些方面对基础设施进行管理以给用户提供资源?或者说IaaS云有那些功能?在《虚拟化与云计算》中列出了IaaS的七个基本功能：
资源抽象：使用资源抽象的方法(比如，资源池)能更好地调度和管理物理资源。
资源监控：通过对资源的监控，能够保证基础实施高效率的运行。
负载管理：通过负载管理，不仅能使部署在基础设施上的应用运能更好地应对突发情况，而且还能更好地利用系统资源。
数据管理：对云计算而言，数据的完整性，可靠性和可管理性是对IaaS的基本要求。
资源部署：也就是将整个资源从创建到使用的流程自动化。
安全管理：IaaS的安全管理的主要目标是保证基础设施和其提供的资源能被合法地访问和使用。
计费管理：通过细致的计费管理能使用户更灵活地使用资源。
接下来，稍微给大家介绍一下云的三种形式和云计算好处。
三种模式之间的关系
它们之间的关系主要可以从两个角度进行分析：其一是用户体验角度，从这个角度而言，它们之间关系是独立的，因为它们面对不同类型的用户。其二是技术角度，从这个角度而言，它们并不是简单的继承关系(SaaS基于PaaS，而PaaS基于IaaS)，因为首先SaaS可以是基于PaaS或者直接部署于IaaS之上，其次PaaS可以构建于IaaS之上，也可以直接构建在物理资源之上。