大数据课程作业（一)

一、什么是云计算？

云计算（cloud computing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内（几秒种）完成对数以万计的数据的处理，从而达到强大的网络服务。

二、云计算的关键技术

云计算的关键技术包括虚拟化，分布式存储，分布式计算，多租户。

1. 虚拟化
   将一台计算机虚拟成多台计算机，多个应用程序在相互独立的空间运行，显著提高计算机工作效率。

2. 分布式存储
   集中式存储无法满足海量数据的需求了，而分布式存储可以在廉价pc服务器上搭建起大规模存储集群。

3. 分布式计算
   在多个机器上并行处理数据，极大地提高了数据处理速度，可以满足对海量数据的批量处理需求。

4. 多租户
   多租户计算的主要目的在于使大量用户能够共享同一堆栈的软硬件资源，每一个用户按需使用资源，能够对软件服务进行客户化配置，而不影响其他用户使用。

三、什么是集群？

集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源，这些单个的计算机系统就是集群的节点（node）。集群提供了以下关键的特性。

(一) 可扩展性。集群的性能不限于单一的服务实体，新的服务实体可以动态的加入到集群，从而增强集群的性能。

(二) 高可用性。集群通过服务实体冗余使客户端免于轻易遭遇到“out of service”警告。当一台节点服务器发生故障的时候，这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。消除单点故障对于增强数据可用性、可达性和可靠性是非常重要的。

(三) 负载均衡。负载均衡能把任务比较均匀的分布到集群环境下的计算和网络资源，以便提高数据吞吐量。

(四) 错误恢复。如果集群中的某一台服务器由于故障或者维护需要而无法使用，资源和应用程序将转移到可用的集群节点上。这种由于某个节点中的资源不能工作，另一个可用节点中的资源能够透明的接管并继续完成任务的过程叫做错误恢复。

四、集群的类型有哪些？

在集群的类型通常有3种：LB：Load Banlancing（负载）、HA：High Availability（高可用）、HP：High
Performace（高性能）。

五、云计算主要特征有哪些？

云计算具有以下特点：

(1)虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。

(2)规模化整合。云里的资源非常庞大，在一个企业云可以有几十万甚至上百万台服务器，在一个小型的私有云中也可拥有几百台甚至上千台服务器。

(3)高可靠性。云计算使用了多副本容错技术、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。

(4)高可扩展性。

(5)按需服务。云计算是一个庞大的资源池，使用者可以根据需要来进行购买。

(6)成本低。

六、什么是MPI?

MPI是一个跨语言的通讯协议，用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口，包括协议和和语义说明，他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能，大规模性，和可移植性。MPI在今天仍为高性能计算的主要模型。

七、什么是网格计算？

网格计算是分布式计算的一种，是一门计算机科学。它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终结果。

八、MPI与网格计算的区别？

1、从计算方法来说：MPI是基于计算拆分的而网格计算式基于数据拆分
2、从典型的储存方式来说：MPI是集中存储，网格计算是集中存储
3、从计算与数据的位置一致性关系：MPI是数据向计算迁移，网格计算是数据向计算迁移
4、从并行程序开发难度：MPI 难；网格计算 N/A
5、从应用场景：MPI和网格计算都应用与计算较为密集的计算
6、从负载均衡方式：MPICPU参数均衡 网格计算CPU参数均衡，数据块均衡
7、从主要应用领域：MPI和网格计算都应用于专业领域
8、MPI是基于局域网的，网格计算是基于广域网的

九、物联网四个环节？

物联网产业链可细分为标识、感知、处理和信息传送4个环节，因此物联网每个环节主要涉及的关键技术包括：射频识别技术、传感器技术、传感器网络技术、网络通信技术等。

十、云计算与大数据的关系

大数据就是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。同样也是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

那么大数据的技术有什么意义呢？大数据的意义并不是在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的优化能力，通过优化实现数据的增值。

而大数据与云计算的关系在技术上的联系也是密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费很多的财力和物力。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要框架来向数十、数百或甚至数千的电脑分配工作。并且，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。