大数据第一周作业
1、什么是云计算
云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内(几秒种)完成对数以万计的数据的处理,从而达到强大的网络服务
现阶段所说的云服务已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。
“云”实质上就是一个网络,狭义上讲,云计算就是一种提供资源的网络,使用者可以随时获取“云”上的资源,按需求量使用,并且可以看成是无限扩展的,只要按使用量付费就可以,“云”就像自来水厂一样,我们可以随时接水,并且不限量,按照自己家的用水量,付费给自来水厂就可以。
从广义上说,云计算是与信息技术、软件、互联网相关的一种服务,这种计算资源共享池叫做“云”,云计算把许多计算资源集合起来,通过软件实现自动化管理,只需要很少的人参与,就能让资源被快速提供。也就是说,计算能力作为一种商品,可以在互联网上流通,就像水、电、煤气一样,可以方便地取用,且价格较为低廉。
总之,云计算不是一种全新的网络技术,而是一种全新的网络应用概念,云计算的核心概念就是以互联网为中心,在网站上提供快速且安全的云计算服务与数据存储,让每一个使用互联网的人都可以使用网络上的庞大计算资源与数据中心。
2、云计算关键技术
云计算实现关键技术如下:
一、体系结构
实现计算机云计算需要创造一定的环境与条件,尤其是体系结构必须具备以下关键特征。第一,要求系统必须智能化,具有自治能力,减少人工作业的前提下实现自动化处理平台智地响应要求,因此云系统应内嵌有自动化技术;第二,面对变化信号或需求信号云系统要有敏捷的反应能力,所以对云计算的架构有一定的敏捷要求。与此同时,随着服务级别和增长速度的快速变化,云计算同样面临巨大挑战,而内嵌集群化技术与虚拟化技术能够应付此类变化。
云计算平台的体系结构由用户界面、服务目录、管理系统、部署工具、监控和服务器集群组成:
(1)用户界面。主要用于云用户传递信息,是双方互动的界面。
(2)服务目录。顾名思义是提供用户选择的列表。
(3)管理系统。指的是主要对应用价值较高的资源进行管理。
(4)部署工具。能够根据用户请求对资源进行有效地部署与匹配。
(5)监控。主要对云系统上的资源进行管理与控制并制定措施。
(6)服务器集群。服务器集群包括虚拟服务器与物理服务器,隶属管理系统。
二、资源监控
云系统上的资源数据十分庞大,同时资源信息更新速度快,想要精准、可靠的动态信息需要有效途径确保信息的快捷性。而云系统能够为动态信息进行有效部署,同时兼备资源监控功能,有利于对资源的负载、使用情况进行管理。其次,资源监控作为资源管理的“血液”,对整体系统性能起关键作用,一旦系统资源监管不到位,信息缺乏可靠性那么其他子系统引用了错误的信息,必然对系统资源的分配造成不利影响。因此贯彻落实资源监控工作刻不容缓。资源监控过程中,只要在各个云服务器上部署Agent代理程序便可进行配置与监管活动,比如通过一个监视服务器连接各个云资源服务器,然后以周期为单位将资源的使用情况发送至数据库,由监视服务器综合数据库有效信息对所有资源进行分析,评估资源的可用性,最大限度提高资源信息的有效性。
三、自动化部署
科学进步的发展倾向于半自动化操作,实现了出厂即用或简易安装使用。基本上计算资源的可用状态也发生转变,逐渐向自动化部署。对云资源进行自动化部署指的是基于脚本调节的基础上实现不同厂商对于设备工具的自动配置,用以减少人机交互比例、提高应变效率,避免超负荷人工操作等现象的发生,最终推进智能部署进程。自动化部署主要指的是通过自动安装与部署来实现计算资源由原始状态变成可用状态。其于与计算中表现为能够划分、部署与安装虚拟资源池中的资源为能够给用户提供各类应用于服务的过程,包括了存储、网络、软件以及硬件等。系统资源的部署步骤较多,自动化部署主要是利用脚本调用来自动配置、部署与配置各个厂商设备管理工具,保证在实际调用环节能够采取静默的方式来实现,避免了繁杂的人际交互,让部署过程不再依赖人工操作。
除此之外,数据模型与工作流引擎是自动化部署管理工具的重要部分,不容小觑。一般情况下,对于数据模型的管理就是将具体的软硬件定义在数据模型当中即可;而工作流引擎指的是触发、调用工作流,以提高智能化部署为目的,善于将不同的脚本流程在较为集中与重复使用率高的工作流数据库当中应用,有利于减轻服务器工作量。