云计算和大数据处理

1.云计算基础知识

1.1 基本概念

云计算是一种提供资源的网络，使用者可以随时获取“云”上的资源，按需求量使用，并且可以看成是无限扩展的，只要按使用量付费就可以。

云计算是与信息技术、软件、互联网相关的一种服务，把许多计算资源集合起来，通过软件实现自动化管理，只需要很少的人参与，就能让资源被快速提供。

云计算是以一种方便的使用方式和服务模式，通过互联网按需访问资源池模型(例如网络、服务器、存储、应用程序和服务)，以快速和最少的管理工作为用户提供服务。采用“量入为出”的计费方式，即根据用户使用云服务情况收费。

整体而言，云计算时一种将可伸缩、弹性、共享的物理和虚拟资源池以按需自服务的方式供应和管理，并提供网络访问的模式。

按照ISO/EG17788标准，云计算的关键特征有：广泛的网络接入、可测量的服务、多租户、按需自服务、快速的弹性和可扩展性、资源池化。

• 广泛的网络接入。用户可以通过网络，采用标准机制访问云中的物理和虚拟资源的特性。标准机制有助于用户通过异构平台使用资源。用户可以在任何有网络的地方，利用各种不同类型的客户端，如手机、电脑、工作站等设备，方便地访问云中的资源。
• 可测量的服务。通过可计量的服务交付使得服务使用情况可监控、控制和计费的特性。这个特性强调用户只为自己使用的服务付费，降低用户成本，为用户带来价值。
• 多租户。通过对物理或虚拟资源的分配保证多个租户以及他们的计算和数据彼此隔离和不可访问的特性。
• 按需自服务。客户能够根据自身的实际需求，自动或在最少交互的情况下，配置计算能力的特性。该特性降低了用户的时间成本和操作成本，实现了企业业务的快速实现、部署与应用，降低了企业信息系统的运维成本，提高了企业快速响应市场的能力。
• 快速的弹性和可扩展性。物理或虚拟资源能够快速、弹性，有时是自动化地供应，以达到快速增减资源目的的特性。
• 资源池化。将云服务提供者的物理或虚拟资源进行集成，以便服务于一个或多个云服务客户的特性。 该特性通过抽象对用户屏蔽了资源处理和分配的复杂性，用户无需知道资源是如何分布，如何分配的。

其他关键特征：虚拟化技术（应用虚拟和资源虚拟）、可靠性高、性价比高。

1.2 云计算分类

1）根据云部署模式和云应用范围分类

云计算常见的部署模式有公有云、社区云、私有云和混合云。

• 公有云。云的基础设施一般是被一个云计算服务提供商所拥有，该组织将云计算服务销售给公众，公有云通常在远离客户建筑物的地方托管(一般为云计算服务提