云计算与大数据技术应用

什么是云计算
云计算的定义
PC时代以前，计算机用户主要通过终端分享主机（可以理解为服务器）的计算和存储，获得有限的服务。这样的模式就好比一个家庭里有许多孩子，每一笔零花钱都要朝父母要，用多少要多少。家里的钱都锁在保险柜里，可以想象对孩子来说想买些小零食小玩具都是比较不自在的体验。1979年IBM推出了IBM-PC，计算机从企业普及到个人，用户可以拥有自己的个人电脑。如果还拿零花钱举例，这个时代就好比让孩子有了自己的小钱包，虽然远不如保险柜里的钱多，但完全由自己掌控，一定程度上摆脱了父母的约束。问题也随之而来，一如钱包可能丢失，个人电脑的数据也会因为电脑病毒而付之一炬。而且一台电脑的文件可能在另一台电脑无法使用，就像没法在美国花人民币一样。再后来，也就进入了云计算最早的阶段。大型数据中心的出现给了IBM机会，IBM开始专门出售用于云计算的服务器。而亚马逊此时则开始购买IBM的服务器建立数据中心，提供网站托管服务。想要提供互联网服务的公司不用自己费心，只要租用亚马逊的服务即可。我们可以认为亚马逊开设了自己的银行，从IBM大量购买“保险柜”，然后将管理存款、计账、提供交易明细的服务卖给客户。自此钱便不需要放在自家保险柜，可以直接交给亚马逊，用户没有了保险柜的概念，只知道自己有一个账户，里面是自己的存款。而作为互联网巨头的谷歌，解决了云计算的关键技术问题，其中包括海量数据存储、计算资源管理和信息安全三方面。我们可以认为，谷歌直接搭建了整个银行系统，设置了央行和各个商业银行的分行，组织了专门的银行柜员，让客户的钱可以在全国银行实现统一调度，不用去管自己的钱到底是放在哪家银行的哪个分行、哪个保险柜。同时谷歌还设置了安保系统，防止有人抢银行。至此账户和保险柜完全分离，用户只要享受存取款的服务即可。

云计算的特点
第一，云计算保证用户可以随时随地访问和处理信息，并且可以方便地与人共享信息”：在过去分享文件只能通过U盘拷贝，而且到了别人的电脑上还未必可以打开。想要处理信息的话，用户一定要电脑在手边，现在在任何终端都可以完成，而且在线应用软件分享数据功能比个人电脑强得多。这就好比支付宝的存在让我们从此免去了去银行取钱的过程，想要借钱给别人只需要在线转账即可。而且即使在海外消费，也可以直接按实时汇率把美元折合成人民币扣费。“第二，云计算保证用户可以使用大量在云端的计算资源，而无需自己购入设备，压低了用户成本，且用户不用担心数据丢失、病毒入侵等麻烦”：这一点不难理解，如果还要类比的话，我们把钱存在银行就免去了过去自己选购保险柜的过程和费用，而且把钱放在银行也方便保管，不必承担失窃的风险，反倒是那些藏在自家土炕里的钱全部发霉腐坏了。“第三，云计算让全社会的计算资源得到最有效的利用”：我们可以想象，银行的保险柜利用率肯定要远比家庭的高，同样一大笔财宝，放在银行要比分放在零散的家庭占用的保险柜数量少得多。同时银行还可以灵活周转，若是现在每个家庭都把钱从银行取出来放回自己家里，那世界经济得倒退百年都不止。云计算的出现就好比加速了这百余年的经济发展，让互联网服务进一步迎来一个井喷的时代。“第四，云计算可以让用户完成以前根本完成不了的任务”：现在，云计算工具可以把工作并行地安排到互联网上闲置的服务器中，几分钟之内完成任务。还是同样的例子，身家上亿的富翁要是把钱都放在自己家里自己数，每消费一笔巨款也要再数一笔钱出来，那可能真要数钱数到死了，而现在银行负责了一切，用户只需要在线查看自己账户的余额和交易明细就可以了。“第五，云计算把整个云端的服务器资源作为整体保存，然后根据用户的需求动态分派这些资源”：现在公司购买计算资源，只需要指定需要的资源数目，而无需考虑设备问题。就好比银行的储户不必去管自己的钱到底是放在银行的哪个分行、哪个保险柜，消费时直接刷卡消费，不用考虑整存争取，买买买就是了。简单讲云计算的几大优点就是，省心、省心和省心，解放了所有基于互联网的业务。

经典的云计算基础架构
云计算架构——显示层　　这层主要是用于以友好的方式展现用户所需的内容，并会利用到下面中间件层提供的多种服务，主要有五种技术：　　HTML：标准的Web页面技术，现在主要以HTML4为主，但是将要推出的HTML5会在很多方面推动Web页面的发展，比如视频和本地存储等方面。　　JavaScript：一种用于Web页面的动态语言，通过JavaScript，能够极大地丰富Web页面的功能。　　CSS：主要用于控制Web页面的外观，而且能使页面的内容与其表现形式之间进行优雅地分离。　　Flash：业界最常用的RIA(Rich Internet Applications)技术，能够在现阶段提供HTML等技术所无法提供的基于Web的富应用，而且在用户体验方面，非常不错。　　Silverlight：来自业界巨擎微软的RIA技术，虽然其现在市场占有率稍逊于Flash，但由于其可以使用C#来进行编程，所以对开发者非常友好。　　云计算架构——中间层　　这层是承上启下的，它在下面的基础设施层所提供资源的基础上提供了多种服务，比如缓存服务和REST服务等，而且这些服务即可用于支撑显示层，也可以直接让用户调用，并主要有五种技术：　　REST：通过REST技术，能够非常方便和优雅地将中间件层所支撑的部分服务提供给调用者。　　多租户：就是能让一个单独的应用实例可以为多个组织服务，而且保持良好的隔离性和安全性，并且通过这种技术，能有效地降低应用的购置和维护成本。　　并行处理：为了处理海量的数据，需要利用庞大的X86集群进行规模巨大的并行处理，Google的MapReduce是这方面的代表之作。　　应用服务器：在原有的应用服务器的基础上为云计算做了一定程度的优化，比如用于Google App Engine的Jetty应用服务器。　　分布式缓存：通过分布式缓存技术，不仅能有效地降低对后台服务器的压力，而且还能加快相应的反应速度，最著名的分布式缓存例子莫过于Memcached。　　云计算架构——基础设施层　　这层作用是为给上面的中间件层或者用户准备其所需的计算和存储等资源，主要有四种技术：　　虚拟化：也可以理解它为基础设施层的“多租户”，因为通过虚拟化技术，能够在一个物理服务器上生成多个虚拟 机，并且能在这些虚拟机之间能实现全面的隔离，这样不仅能减低服务器的购置成本，而且还能同时降低服务器的运维成本，成熟的X86虚拟化技术有 VMware的ESX和开源的Xen。　　分布式存储：为了承载海量的数据，同时也要保证这些数据的可管理性，所以需要一整套分布式的存储系统。　　关系型数据库：基本是在原有的关系型数据库的基础上做了扩展和管理等方面的优化，使其在云中更适应。　　NoSQL：为了满足一些关系数据库所无法满足的目标，比如支撑海量的数据等，一些公司特地设计一批不是基于关系模型的数据库。云计算架构——管理层　　这层是为横向的三层服务的，并给这三层提供多种管理和维护等方面的技术，主要有下面这六个方面：　　帐号管理：通过良好的帐号管理技术，能够在安全的条件下方便用户地登录，并方便管理员对帐号的管理。　　SLA监控：对各个层次运行的虚拟机，服务和应用等进行性能方面的监控，以使它们都能在满足预先设定的SLA(Service Level Agreement)的情况下运行。　　计费管理：也就是对每个用户所消耗的资源等进行统计，来准确地向用户索取费用。　　安全管理：对数据，应用和帐号等IT资源采取全面地保护，使其免受犯罪分子和恶意程序的侵害。　　负载均衡：通过将流量分发给一个应用或者服务的多个实例来应对突发情况。　　运维管理：主要是使运维操作尽可能地专业和自动化，从而降低云计算中心的运维成本。 云计算架构其中有三层是横向的，分别是显示层、中间件层和基础设施层，通过这三层技术能够提供非常丰富的云计算能力和友好的用户界面，云计算架构还有一层是纵向的，称为管理层，是为了更好地管理和维护横向的三层而存在的。

云计算主要服务模式
对于企业来说，可能会需要一套OS系统来解决办公自动化的问题；或者通过使用ERP系统帮助提升管理效率；再者用到定制化的CRM系统助力工作的精准度等等。最初想要实现这些应用，需要企业自己购买服务器、硬件以及开发团队，自从云计算出现以后，想要得到这样一套应用变得简单了，没有专业的团队也能够得到满足自己搭建需求的应用。根据NIST（美国国家标准与技术研究院）的权威定义，云计算的服务模式SPI，即SaaS、PaaS和IaaS。 SaaS软件即服务SaaS系统，英文全称“Software-as-a-Service”，中文全称“软件即服务”。常见的SaaS产品种类包括ERP（企业资源计划）、CRM（客户关系管理）、OA（办公自动化）、EHR（人力资源管理）、SCM（供应链管理）等。传统软件系统基于本地，而云计算系统将本地服务器搬到了云端，通过软件连接互联网使用。主要有以下特点：软件系统的运行不受限于本地物理主机的性能，而是高速运行在云端服务器上；云端服务器24小时开机运行，只要连接互联网便可实现“随时”、“随地”的访问使用；方便随时在线收集用户需求，对SaaS平台进行集中维护更新；基于模块化功能开发，企业可根据不同行业用户需求快速迭代产品。最容易接触到关于SaaS的小程序或者软件，如H5应用、阿里钉钉、腾讯企业微信、云创办公等，这些应用平台上可提供各类SaaS小软件，从OA到ERP，再到CRM等等，可涵盖企业运行所需的几乎所用应用。 PaaS平台即服务PaaS系统，英文全称“Platform-as-a-Service”，中文全称“平台即服务”，也可以称之为“中间件”服务。传统软件离不开本地配置开发环境和服务器等设备，PaaS平台可以提供基础架构，开发者可以在此之上构建新的应用，或者二次开发新的功能，缩短应用的开发周期。主要有以下特点：提供已经开发完成的功能模块“中间件”，缩短开发者开发周期；节省本地开发硬件设备采购与维护费用；基于Web的开发环境，方便不同开发者、工作室跨区域、跨空间协作；PaaS平台可为应用提供实时的管理与监控，开发者可通过具体数值观察应用的运行状态。PaaS能够提供各种开发和分发应用的解决方案，如虚拟服务器和特定的操作系统。能够节省硬件上的费用，也让各类应用的开发更加便捷，让不同工作间的打通变得容易。熟知的PaaS平台就有百度BAE、新浪SAE、阿里Ali、腾讯云、云创办公等等，很多电商平台、视频网站等都可以通过PaaS实现快速部署。IaaS基础设施即服务IaaS系统，英文全称“Infrastructure-as-a-Service”，也可称之为“Hardware-as-a-Service”，中文全称“基础设施即服务”。IaaS服务一般分为三类：公有云（置于Internet上，面向注册、付费用户，核心属性是共享资源服务）、私有云（置于私有环境中，服务于单个客户，对数据、安全性和服务质量的提供最有效控制）、混合云（融合了公有云和私有云，将内部重要数据保存在本地数据中心，同时也可以使用公有云的计算资源）。IaaS提供的场外服务器，存储和网络硬件，可以进行租用，降低成本和办公场地费用，可随时通过这些硬件来运行其应用。熟知的IaaS服务有服务器托管业务，多数的IDC都提供这样的服务，用户自己不想要再采购价格昂贵的服务器和磁盘阵列了，所有的硬件都由IaaS提供，并且还能获得品质更高的网络资源。

云计算主要部署模式
公有云：众多企业公用一个云服务器，可以理解为共享资源服务。如果公有云比喻成出租公寓，那么企业就是其中的租户之一，当企业选择停止租用时，空间将被清理并释放出来租给下个租户。公有云的优点是价格低廉、使用便捷、节省维护成本，所以用户多以创业公司和个人居多。缺点是不够安全，容易发生文件泄露的风险，而且当需要移动大量数据的时候，企业面临的将是很大一笔费用。私有云：服务器可以是企业自己建立也可以是租用第三方服务器，企业独享服务器只为该企业提供数据服务。如果公有云是出租公寓，那么私有云就是独门独户的小别墅。私有云的优点是提供了更加安全的环境，用户可以根据需求选择定制其资源。缺点是安装成本高，高度安全性可能会使部分功能操作有局限性。混合云：混合了公有云和私有云的一种解决方式，企业可以将重要文件放置私有云，普通文件放置公有云，两者之间可以进行数据和应用的移植。混合云的优点是可以满足企业多样化需求，节省必要的开支。缺点是开发过程中因兼容等问题会变得比较复杂，后期的维护也需要花费时间和人力，对于企业的实力要求较高。

经典的云计算产品
亚马逊AWS（Amazon Web Services (AWS) ）是亚马逊提供的专业云计算服务，于2006年推出，以Web服务的形式向企业提供IT基础设施服务，通常称为云计算。其主要优势之一是能够以根据业务发展来扩展的较低可变成本来替代前期资本基础设施费用。亚马逊网络服务所提供服务包括：亚马逊弹性计算网云（Amazon EC2）、亚马逊简单储存服务（Amazon S3）、亚马逊简单数据库（Amazon SimpleDB）、亚马逊简单队列服务（Amazon Simple Queue Service）以及Amazon CloudFront等。

IBM在2007年11月15日推出了蓝云计算平台，为客户带来即买即用的云计算平台。它包括一系列的云计算产品，使得计算不仅仅局限在本地机器或远程服务器农场（即服务器集群），通过架构一个分布式、可全球访问的资源结构，使得数据中心在类似于互联网的环境下运行计算。通过IBM的技术白皮书，我们可以一窥蓝云计算平台的内部构造。“蓝云”建立在IBM大规模计算领域的专业技术基础上，基于由IBM软件、系统技术和服务支持的开放标准和开源软件。简单地说，“蓝云”基于IBM Almaden研究中心（Almaden Research Center）的云基础架构，包括Xen和PowerVM虚拟化、Linux操作系统映像以及Hadoop文件系统与并行构建。“蓝云”由IBM Tivoli软件支持，通过管理服务器来确保基于需求的最佳性能。这包括通过能够跨越多服务器实时分配资源的软件，为客户带来一种无缝体验，加速性能并确保在最苛刻环境下的稳定性。IBM新近发布的“蓝云（Blue Cloud）”计划，能够帮助用户进行云计算环境的搭建。它通过将Tivoli、DB2、WebSphere与硬件产品（目前是x86刀片服务器）集成，能够为企业架设一个分布式、可全球访问的资源结构。根据IBM的计划，首款支持Power和x86处理器刀片服务器系统的“蓝云”产品将于2008年正式推出，并且计划随后推出基于System z“大型主机”的云环境，以及基于高密度机架集群的云环境。
阿里云服务大概分两个方面：1、把传统的计算机系统（包括软件、硬件等）SAAS化，终端用户不再关心底层建设，只需要按需求购买服务即可。比如云服务器ECS、云数据库RDS、云存储OSS/NAS、云防火墙等等，原来都是需要自建购买软硬件来完成相应的业务，现在可以全部以服务形式购买、使用；2、把分散、独立的服务聚合在一起。比如域名注册、企业邮箱服务、短信服务、安全验证服务、大数据服务等等再针对性举例：云服务器ECS云服务器ECS相当于一台虚拟服务器，基于庞大的物理服务器集群虚拟出来的，但可以像独立服务器一样使用，常见的是作为应用服务器（基于容器提供web服务）或数据库服务器（当然，阿里有专业的云数据库，在此不做多述）。应用服务器中最简单的一种应用方式是，比如个人博客、企业官网、web业务系统等，邮件服务之外（ECS默认禁用邮件SMTP服务25 端口，特殊情况需报备审核后使用）

云计算技术的新发展
随着云计算的不断演变，云计算不再是早期的简易平台，通过互联网云计算能够以最少的管理工作快速进行系统资源配置，以及随时访问更高级别的共享池。云计算的出现，让企业获得成本效益之外，还实现了简化IT管理和维护、内置安全性以及易于部署的模式等。基于这些优势，越来越多的企业开始使用云计算，以期能够帮助企业实现业务目标。未来，企业云用户关心的云计算会有哪些发展？1重新定义服务模式随着云计算的发展，云服务和解决方案将随之增长。软件即服务(SaaS)预计到2020年将以18%的年均复合增长率增长，平台即服务(PaaS)的采用率将在2020年达到56%，2018年基础设施即服务(IaaS)的全球市场规模将达到175亿美元。现阶段云计算是一种业务模式，服务提供商在定制的环境中处理客户的完整基础架构和软件需求。随着企业云服务的采用，云文件共享服务将会增加，而消费者云服务也将会随之增长。在云计算领域，亚马逊领先于微软、IBM、谷歌及其他技术巨头。2022年，亚马逊AWS营收将达到430亿美元。2混合云成优选2018年，云到云连接将不断增长。当前，多个云提供商都开放了平台上的APIs，以连接多个解决方案，API有助于同步多学科和跨功能的流程。通过允许数据和应用程序共享，从而实现公有云和私有云融合的云计算环境被称为混合云