大数据--云计算

云计算

什么是云计算

在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进g’v行运算。

云计算的关键技术

伴随着信息技术的不断发展，信息技术已被应用到各行各业，乃至人们的日常生活当中。云计算的核心是一种基于互联网的计算模式，这种模式既包括系统的设计开发时，也涵盖系统运行时。总的来说，云计算包
括4大核心技术：
(1)虚拟化技术
实现云计算的重要技术支持就是虚拟化技术。虚拟化技术实现了物理资源的逻辑抽象和统一表示，产生了一个虚拟(非实在)的东西，各种不同的软硬件资源就可以形成一个虚拟的资源池，用户和业务应用就能更有效地使用这个资源池，通过虚拟化技术可以提高资源的利用率，且能够按照用户需求变化，快速有效地进行资源部署。
(2)数据存储技术
从安全、经济适用的角度来看，分布式存储方式无疑是云存储的最佳选择，采用多个副本存储同一数据或采用多份备份法，在服务上则采取并行的方法为用户提供所需服务，此外，高传输率也是云计算数据存储技术的一大特色。目前，采用这种数据存储技术的服务商有Google、英特尔等。
(3)大规模数据管理技术
云技术能对海量的数据进行处理、利用的前提是，数据管理技术必须具备高效的管理大量的数据的能力。目前，云计算系统中的数据管理技术主要是Google的Big Table数据管理技术和Hadoop开发的开源数据管理模块HBase。
(4)编程模型
要使用户能够简便、轻松的获取云环境下的编程服务，编程模型必须具备简洁易操作的性能，那样，用户只要通过简单程序编写就能达成既定的目标。此外，编程模型后台复杂的并行执行、任务调度向用户和编程人员保持透明，又是该服务的一大特色。例如Google构造的Map Reduce编程规范就可满足上述要求，过Map和Reduce两个简单概念构成基本的运算单元便可以并行处理海量的数据。Map Reduce既满足了编程模型需要，也满足了任务调度模型的需求，目前使用较广泛。

云计算的特点

1、大规模、分布式
“云”一般具有相当的规模，一些知名的云供应商如Google云计算、Amazon、IBM、微软、阿里等也都拥能拥有上百万级的服务器规模。而依靠这些分布式的服务器所构建起来的“云”能够为使用者提供前所未有的计算能力。
2、虚拟化
云计算都会采用虚拟化技术，用户并不需要关注具体的硬件实体，只需要选择一家云服务提供商，注册一个账号，登陆到它们的云控制台，去购买和配置你需要的服务（比如 云服务器，云存储，CDN等等），再为你的应用做一些简单的配置之后，你就可以让你的应用对外服务了，这比传统的在企业的数据中心去部署一套应用要简单方便得多。而且你可以随时随地通过你的PC或移动设备来控制你的资源，这就好像是云服务商为每一个用户都提供了一个IDC(Internet Data Center)一样。
3、高可用性和扩展性
那些知名的云计算供应商一般都会采用数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。基于云服务的应用可以持续对外提供服务（7*24小时），另外“云”的规模可以动态伸缩，来满足应用和用户规模增长的需要。
4、按需服务，更加经济
用户可以根据自己的需要来购买服务，甚至可以按使用量来进行精确计 费。这能大大节省IT成本，而资源的整体利用率也将得到明显的改善。
5、安全
网络安全已经成为所有企业或个人创业者必须面对的问题，企业的IT团队或个人很难应对那些来自网络的恶意攻击，而使用云服务则可以借助更专业的安全团队来有效降低安全风险。

什么是集群技术

集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。
和传统的高性能计算机技术相比，集群技术可以利用各档次的服务器作为节点，系统造价低，可以实现很高的运算速度，完成大运算量的计算，具有较高的响应能力，能够满足当今日益增长的信息服务的需求。
而集群技术是一种通用的技术，其目的是为了解决单机运算能力的不足、IO能力的不足、提高服务的可靠性、获得规模可扩展能力，降低整体方案的运维成本（运行、升级、维护成本）。只要在其他技术不能达到以上的目的，或者虽然能够达到以上的目的，但是成本过高的情况下，就可以考虑采用集群技术。

什么是MPI

MPI是多点接口(Multi Point Interface)的简称，是西门子公司开发的用于PLC之间通讯的保密的协议。MPI通讯是当通信速率要求不高、通信数据量不大时，可以采用的一种简单经济的通讯方式。对于MPI有三个简单定义：
1、MPI是一个库，而不是一门语言
2、MPI是一种标准或规范的代表，而不特指某一个对它的具体实现
3、MPI是一种消息传递编程模型，并成为这种编程模型的代表。

网格计算

网格计算是分布式计算的一种，是一门计算机科学。它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终结果。

云计算与网格的区别

区别	云计算	网格计算
计算方式	通过网络“云”将bai巨大的数据计算处理程du序分解成无数zhi个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。	是利用互联网上的计算机的 CPU 的闲置处理能力来解决大型计算问题的一种计算科学。
内容不同	是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果	研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终结果。
特点不同	具有很强的扩展性和需要性，可以为用户提供一种全新的体验，云计算的核心是可以将很多的计算机资源协调在一起。	意味着应用程序不再“绑定”到具体的物理系统和平台软件上，数据和程序是能够在计算节点间“流动起来”的。

什么是数据切分

数据切分(Sharding)是指通过某种特定的条件。将我们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面。以达到分散单台设备负载的效果。
数据的切分a依据其切分规则的类型，能够分为两种切分模式。一种是依照不同的表（或者Schema）来切分到不同的数据库（主机）之上。这样的切能够称之为数据的垂直（纵向）切分。第二种则是依据表中的数据的逻辑关系，将同一个表中的数据依照某种条件拆分到多台数据库（主机）上面，这样的切分称之为数据的水平（横向）切分。

云计算与大数据关系

大数据和云计算的关系就像一枚硬币的正反面一样密不可分，大数据必然无法使用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。 他俩之间的关系你可以这样来理解，云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。
大数据处理大量的结构化，半结构化或非结构化数据，以进行存储和处理以进行数据分析。大数据有五个方面，通过5V来描述

数量–数据量
种类–不同类型的数据
速度–系统中的数据流率
价值 –基于其中包含的信息的数据价值
准确性 –数据保密性和可用性

云计算以按需付费的模式向用户提供服务。云提供商提供三种主要服务，这些服务概述如下：
1、基础架构即服务（IAAS）–在这里，服务提供商将提供整个基础架构以及与维护相关的任务。
2、平台即服务（PAAS）–在此服务中，Cloud提供程序提供了诸如对象存储，运行时，排队，数据库等资源。但是，与配置和实现相关的任务的责任取决于使用者。
3、软件即服务（SAAS）–此服务是最便捷的服务，它提供所有必要的设置和基础结构，并为平台和基础结构提供IaaS。

Cloud通过可伸缩且灵活的自助服务应用程序抽象了挑战和复杂性，从而启用了“即服务”模式。从最终用户提取海量数据的分布式处理时，大数据需求是相同的。

云中的大数据分析有多个好处。
1、改进分析
随着云技术的进步，大数据分析变得更加完善，从而带来了更好的结果。因此，公司倾向于在云中执行大数据分析。此外，云有助于整合来自众多来源的数据。
2、简化的基础架构
大数据分析是基础架构上一项艰巨的艰巨工作，因为数据量大，速度和传统基础架构通常无法跟上的类型。由于云计算提供了灵活的基础架构，我们可以根据当时的需求进行扩展，因此管理工作负载很容易。
3、降低成本
大数据和云技术都通过减少所有权来为组织创造价值。云的按用户付费模型将CAPEX转换为OPEX。另一方Apache降低了大数据的许可成本，该成本应该花费数百万美元来构建和购买。云使客户无需大规模的大数据资源即可进行大数据处理。因此，大数据和云技术都在降低企业成本并为企业带来价值。4、安全与隐私
数据安全性和隐私性是处理企业数据时的两个主要问题。此外，当您的应用程序由于其开放的环境和有限的用户控制安全性而托管在Cloud平台上时，这成为主要的问题。另一方面，像Hadoop这样的大数据解决方案是一个开源应用程序，它使用了大量的第三方服务和基础架构。因此，如今，系统集成商引入了具有弹性和可扩展性的私有云解决方案。此外，它还利用了可扩展的分布式处理。

除此之外，云数据是在通常称为云存储服务器的中央位置存储和处理的。服务提供商和客户将与之一起签署服务水平协议（SLA），以获得他们之间的信任。如果需要，提供商还可以利用所需的高级安全控制级别。这可确保涵盖以下问题的云计算中大数据的安全性：
1、保护大数据免受高级威胁。
2、云服务提供商如何维护存储和数据。