云计算技术与应用

#云计算与大数据技术与应用
##云计算概述
###1.1什么是云计算
云计算的概念：
现阶段对云计算的定义有多种说法。对于到底什么是云计算，至少可以找到100种解释。广为接受的说法是美国国家标准与技术研究院（NTSI）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需要投入的管理工作，或与服务供应商进行很少的交互。

首先对云计算这三个字的理解，云，是网络、互联网的一种比喻说法，即互联网与建立互联网所需要的底层基础设施的抽象体。“计算”当然不是指一般的数值计算，指的是一台足够强大的计算机提供的计算服务（包括各种功能，资源，存储）。“云计算”可以理解为：网络上足够强大的计算机为你提供的服务，只是这种服务是按你的使用量进行付费的。
云计算定义：
云计算是由分布式计算、并行处理、网格计算发展来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断的发展变化，云计算没仍没有普遍一致的定义。
　　中国网格计算、云计算专家刘鹏给出如下定义 ：“云计算将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务”。
　　狭义的云计算指的是厂商通过分布式计算和虚拟化技术搭建数据中心或超级计算机，以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务，比如亚马逊数据仓库出租生意。
广义的云计算 指厂商通过建立网络服务器集群，向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务。广义的云计算包括了更多的厂商和服务类型，例如国内用友、金蝶等管理软件厂商推出的在线财务软件，谷歌发布的Google应用程序套装等。
通俗的理解是，云计算的“云“就是存在于互联网上的服务器集群上的资源，它包括硬件资源（服务器、存储器、CPU等）和软件资源（如应用软件、集成开发环境等），本地计算机只需要通过互联网发送一个需求信息，远端就会有成千上万的计算机为你提供需要的资源并将结果返回到本地计算机，这样，本地计算机几乎不需要做什么，所有的处理都在云计算提供商所提供的计算机群来完成。
云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。
　　一、公有云
　　公有云通常指第三方提供商为用户提供的能够使用的云，比如我们经常使用阿里云即是一种公有云。公有云可通过internet使用，价格非常的低廉，核心的属性是共享服务资源。公有云被认为是云计算的主要形态，目前市场上公有云也是占据了较大的市场份额的。
　　二、私有云
　　私有云是拥有基础设施并可以控制在此设施上部署应用程序的方式，私有云可以部署在企业数据中心的防火墙内，核心属性是专有资源。私有云是单独构建的，因而在数据安全性以及服务质量上自己可以有效的管控，私有云虽然数据安全性方面比公有云高，但是维护的成本也相对较大，类似搭建一个M2M设备管理平台就没有必要考虑私有云，除非企业拥有私有云，或者项目工程对安全数据要求极其高的才有必要考虑。
　　三、混合云
　　混合云是在成本和安全方面的一种折中方案。顾名思义，就是公有云和私有云的结合。数据依然是存到本地的机器上，但是一旦出现大规模的访问或者计算时，就会把这部分计算的需求转移到公有云平台上，实现不同场景的切换。与此同时，在混合云方案中，私有云还常常把公有云作为灾难恢复和灾难转移的平台。混合云在使用起来具有更高的灵活性，是企业在考虑成本效益下的首选方案。混合云虽然兼有了私有云的安全性，但是随之带来的却是应由于API带来的复杂网络配置使得传统系统管理员的知识经验及能力受到挑战，随之带来的并是高昂的学习成本或者系统管理员能力不足带来的额外风向。
云计算概念模型：
　　如果说“云”的本质就是业务实现的方式，那么云计算有哪些新的业务模型呢？
比较熟悉的早期云计算实践来之于国际上以亚马逊、谷歌(Google)和Saleforces.com为代表的公司，并且都提供了具有显著特征，但又代表着不同模式的成功云业务。
基云系指将IT的基础设施作为业务平台，直接按资源占用的时长和多少，通过公共互联网进行业务实现的“云”。基云的用户可以是个人，也可以是企业、集体和行政单位。基云在英文里是IaaS，也称基础设施即服务。亚马逊(Amazon)是业界通过其弹性计算云(EC2)最早实施基云的运营商。基云的IT业务将计算、存储、网络、安全等原始IT资源以出租形式租给用户。用户可以通过操作系统和应用软件(如数据库和Web服务软件)使用租来的IT资源。
平云系指将应用开发环境作为业务平台，将应用开发的接口和工具提供给用户用于创造新的应用，并利用互联网和提供商来进行业务实现的“云”。平云可以利用其他基云平台，也可以用平云运营商自己的基云平台。平云在英文里是PaaS，也称平台即服务。谷歌(Google)通过其AppEngine软件环境向应用开发者提供平云业务，应用开发者必须采用AppEngine应用接口来开发应用。
软云系指基于基云或平云开发的软件。与传统的套装软件不同，软云是通过互联网的应用来进行业务的实现。软云业务可以利用其他的基云和平云平台，也可以利用软云运营商自己的基云和平云环境。软云在英文里是SaaS，也称软件即服务。Saleforces.com是最著名的软云运营商之一，提供企业资源规划(ERP)应用服务。软云为用户省去了套装软件安装、维护、升级和管理造成的麻烦，因为应用程序完全由软云运营商集中管理。
云计算按照层次可将业务模式划分为3层，最顶层是软云，中间层是平云，底层是基云。在基云之下是构建云计算的基础技术。
基于云计算的实践与运营案例，可以总结出云计算的基本特征：
(1) 动态的高可扩展性
云技术使用户可以随时随地根据应用的需求动态地增减IT资源。由于应用运行在虚拟平台上，没有事先预订的固定资源被锁定，所以云业务量的规模可以动态伸缩，以满足特定时期、特定应用及用户规模变化的需要。
(2) 虚拟化的超大规模
云业务的需求和使用与具体的物理资源无关，IT应用和业务运行在虚拟平台之上。云计算支持用户在任何有互联网的地方、使用任何上网终端获取应用服务。用户所请求的资源来自于规模巨大的云平台。
(3 )高可用性
云平台使用数据多副本拷贝容错、计算节点同构可互换技术来保障服务的高可用性。任何单点物理故障发生，应用都会在用户完全不知情的情况下，转移到其他物理资源上继续运行，使用云计算比使用其他计算手段的可用性更高。
云计算的特点：
云计算技术特点：弥漫性、无所不在的分布性和社会性。它是一种新兴的共享基础架构的方法，可以将巨大的系统池连接在一起以提供各种IT服务。
云计算并不是六大特征，而是五大特征。特征如下：
支持异构基础资源
云计算可以构建在不同的基础平台之上，即可以有效兼容各种不同种类的硬件和软件基础资源。硬件基础资源，主要包括网络环境下的三大类设备，即：计算（服务器）、存储（存储设备）和网络（交换机、路由器等设备）；软件基础资源，则包括单机操作系统、中间件、数据库等。
支持资源动态扩展
支持资源动态伸缩，实现基础资源的网络冗余，意味着添加、删除、修改云计算环境的任一资源节点，亦或任一资源节点异常宕机，都不会导致云环境中的各类业务的中断，也不会导致用户数据的丢失。这里的资源节点可以是计算节点、存储节点和网络节点。而资源动态流转，则意味着在云计算平台下实现资源调度机制，资源可以流转到需要的地方。如在系统业务整体升高情况下，可以启动闲置资源，纳入系统中，提高整个云平台的承载能力。而在整个系统业务负载低的情况下，则可以将业务集中起来，而将其他闲置的资源转入节能模式，从而在提高部分资源利用率的情况下，达到其他资源绿色、低碳的应用效果。
支持异构多业务体系
在云计算平台上，可以同时运行多个不同类型的业务。异构，表示该业务不是同一的，不是已有的或事先定义好的，而应该是用户可以自己创建并定义的服务。这也是云计算与网格计算的一个重要差异。
支持海量信息处理
云计算，在底层，需要面对各类众多的基础软硬件资源；在上层，需要能够同时支持各类众多的异构的业务；而具体到某一业务，往往也需要面对大量的用户。由此，云计算必然需要面对海量信息交互，需要有高效、稳定的海量数据通信/存储系统作支撑。
按需分配，按量计费
按需分配，是云计算平台支持资源动态流转的外部特征表现。云计算平台通过虚拟分拆技术，可以实现计算资源的同构化和可度量化，可以提供小到一台计算机，多到千台计算机的计算能力。按量计费起源于效用计算，在云计算平台实现按需分配后，按量计费也成为