大数据章节汇总一

一：云计算
云计算（cloud computing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内（几秒种）完成对数以万计的数据的处理，从而达到强大的网络服务。

二：云计算技术
1、虚拟化技术
虚拟化是云计算最重要的核心技术之一，它为云计算服务提供基础架构层面的支撑，是ICT服务快速走向云计算的最主要驱动力。可以说，没有虚拟化技术也就没有云计算服务的落地与成功。随着云计算应用的持续升温，业内对虚拟化技术的重视也提到了一个新的高度。与此同时，我们的调查发现，很多人对云计算和虚拟化的认识都存在误区，认为云计算就是虚拟化。事实上并非如此，虚拟化是云计算的重要组成部分但不是全部。
2、分布式数据存储技术
云计算的另一大优势就是能够快速、高效地处理海量数据。在数据爆炸的今天，这一点至关重要。为了保证数据的高可靠性，云计算通常会采用分布式存储技术，将数据存储在不同的物理设备中。这种模式不仅摆脱了硬件设备的限制，同时扩展性更好，能够快速响应用户需求的变化。
3、编程模式
从本质上讲，云计算是一个多用户、多任务、支持并发处理的系统。高效、简捷、快速是其核心理念，它旨在通过网络把强大的服务器计算资源方便地分发到终端用户手中，同时保证低成本和良好的用户体验。在这个过程中，编程模式的选择至关重要。云计算项目中分布式并行编程模式将被广泛采用。
4、大规模数据管理
处理海量数据是云计算的一大优势。那么如何处理则涉及到很多层面的东西，因此高效的数据处理技术也是云计算不可或缺的核心技术之一。对于云计算来说，数据管理面临巨大的挑战。云计算不仅要保证数据的存储和访问，还要能够对海量数据进行特定的检索和分析。由于云计算需要对海量的分布式数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。
5、分布式资源管理
云计算采用了分布式存储技术存储数据，那么自然要引入分布式资源管理技术。在多节点的并发执行环境中，各个节点的状态需要同步，并且在单个节点出现故障时，系统需要有效的机制保证其它节点不受影响。而分布式资源管理系统恰是这样的技术，它是保证系统状态的关键。
6、信息安全调查
数据表明，安全已经成为阻碍云计算发展的最主要原因之一。数据显示，32%已经使用云计算的组织和45%尚未使用云计算的组织的ICT管理将云安全作为进一步部署云的最大障碍。因此，要想保证云计算能够长期稳定、快速发展，安全是首要需要解决的问题。
7、云计算平台管理
云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效地管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。云计算系统的平台管理技术，需要具有高效调配大量服务器资源，使其更好协同工作的能力。其中，方便地部署和开通新业务、快速发现并且恢复系统故障、通过自动化、智能化手段实现大规模系统可靠的运营是云计算平台管理技术的关键。
8、绿色节能技术
节能环保是全球整个时代的大主题。云计算也以低成本、高效率着称。云计算具有巨大的规模经济效益，在提高资源利用效率的同时，节省了大量能源。绿色节能技术已经成为云计算必不可少的技术，未来越来越多的节能技术还会被引入云计算中来。

三：云计算特点
1、虚拟化技术。
必须强调的是，虚拟化突破了时间、空间的界限，是云计算最为显著的特点，虚拟化技术包括应用虚拟和资源虚拟两种。众所周知，物理平台与应用部署的环境在空间上是没有任何联系的，正是通过虚拟平台对相应终端操作完成数据备份、迁移和扩展等。

2、动态可扩展。
云计算具有高效的运算能力，在原有服务器基础上增加云计算功能能够使计算速度迅速提高，最终实现动态扩展虚拟化的层次达到对应用进行扩展的目的。

3、按需部署。
计算机包含了许多应用、程序软件等，不同的应用对应的数据资源库不同，所以用户运行不同的应用需要较强的计算能力对资源进行部署，而云计算平台能够根据用户的需求快速配备计算能力及资源。

4、灵活性高。
目前市场上大多数IT资源、软、硬件都支持虚拟化，比如存储网络、操作系统和开发软、硬件等。虚拟化要素统一放在云系统资源虚拟池当中进行管理，可见云计算的兼容性非常强，不仅可以兼容低配置机器、不同厂商的硬件产品，还能够外设获得更高性能计算。

5、可靠性高。
倘若服务器故障也不影响计算与应用的正常运行。因为单点服务器出现故障可以通过虚拟化技术将分布在不同物理服务器上面的应用进行恢复或利用动态扩展功能部署新的服务器进行计算。

6、性价比高。
将资源放在虚拟资源池中统一管理在一定程度上优化了物理资源，用户不再需要昂贵、存储空间大的主机，可以选择相对廉价的PC组成云，一方面减少费用，另一方面计算性能不逊于大型主机。

7、可扩展性。
用户可以利用应用软件的快速部署条件来更为简单快捷的将自身所需的已有业务以及新业务进行扩展。如，计算机云计算系统中出现设备的故障，对于用来说，无论是在计算机层面上，亦或是在具体运用上均不会受到阻碍，可以利用计算机云计算具有的动态扩展功能来对其他服务器开展有效扩展。这样一来就能够确保任务得以有序完成。在对虚拟化资源进行动态扩展的情况下，同时能够高效扩展应用，提高计算机云计算的操作水平。

四：集群
1 概念
集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。
2 特性
2.1伸缩性（Scalability）：
在一些大的系统中，预测最终用户的数量和行为是非常困难的，伸缩性是指系统适应不断增长的用户数的能力。提高这种并发会话能力的一种最直观的方式就增加资源（CPU，内存，硬盘等），集群是解决这个问题的另一种方式，它允许一组服务器组在一起，像单个服务器一样分担处理一个繁重的任务。

2.2高可用性（High availability）：
单一服务器的解决方案并不是一个健壮方式，因为容易出现单点失效。像银行、账单处理这样一些关键的应用程序是不能容忍哪怕是几分钟的死机。它们需要这样一些服务在任何时间都可以访问并在可预期的合理的时间周期内有响应。集群方案通过在集群中增加的冗余的服务器，使得在其中一台服务器失效后仍能提供服务，从而获得高的可用性。

2.3负载均衡（Load balancing）：
负载均衡是集群的一项关键技术，通过把请求分发给不同的服务器，从而获得高可用性和较好的性能。一个负载均衡器可以是从一个简单的Servlet或 Plug-Ins（例如一个Linux box利用ipchains来实现），到昂贵的内置SSL加速器的硬件。除此之外，负载均衡器还需执行一些其他的重要任务，如“会话胶粘”让一个用户会话始终存在一个服务器上，“健康检查”用于防止将请求分发到已失效的服务器上。有些负载均衡器也会参与我们下面将要谈到“失效转移”过程。

2.4容错（Fault tolerance）：
高可用性意味着对数据正确性的要求不那么高。在J2EE集群中，当一个服务器实例失效后，服务仍然是有效的，这是因为新的请求将被冗余服务器处理。但是，当一个请求在一个正在失效的服务器中处理时，可能得到不正确的结果。不管有多少个错误，容错的服务应当能确保有严格的正确的行为。

2.5失效转移（Failover）：
失效转移是集群中用来获取容错能力的另一项关键的技术。当一个结点失效后，通过选择集群中的另一个结点，处理将会继续而不会终止。转移到另一个结点可以被显式的编码，或是通过底层平台自动地透明地路由到另一个服务器。

2.6等幂方法（Idempotent methods）：
等幂方法是指这样一些方法：重复用相同的参数调用都能得到相同的结果。这些方法不会影响系统状态，可以重复调用而不用担心改变系统。例如：getUsername()就是等幂的，而deleteFile就不是。当我们讨论HTTP Session失效转移和EJB失效转移时，它是一个重要的概念.

3类型
3.1 科学集群
科学集群是并行计算的基础。通常，科学集群涉及为集群开发的并行应用程序，以解决复杂的科学问题。科学集群对外就好像一个超级计算机，这种超级计算机内部由十至上万个独立处理器组成，并且在公共消息传递层上进行通信以运行并行应用程序。

3.2 负载均衡集群
负载均衡集群为企业需求提供了更实用的系统。负载均衡集群使负载可以在计算机集群中尽可能平均地分摊处理。负载通常包括应用程序处理负载和网络流量负载。这样的系统非常适合向使用同一组应用程序的大量用户提供服务。每个节点都可以承担一定的处理负载，并且可以实现处理负载在节点之间的动态分配，以实现负载均衡。对于网络流量负载,当网络服务程序接受了高入网流量，以致无法迅速处理，这时，网络流量就会发送给在其它节点上运行的网络服务程序。同时，还可以根据每个节点上不同的可用资源或网络的特殊环境来进行优化。与科学计算集群一样，负载均衡集群也在多节点之间分发计算处理负载。它们之间的最大区别在于缺少跨节点运行的单并行程序。大多数情况下，负载均衡集群中的每个节点都是运行单独软件的独立系统。

3 高可用性集群

当集群中的一个系统发生故障时，集群软件迅速做出反应，将该系统的任务分配到集群中其它正在工作的系统上执行。考虑到计算机硬件和软件的易错性，高可用性集群的主要目的是为了使集群的整体服务尽可能可用。如果高可用性集群中的主节点发生了故障，那么这段时间内将由次节点代替它。次节点通常是主节点的镜像。当它代替主节点时，它可以完全接管其身份，因此使系统环境对于用户是一致的。

4 MPI、网格、云计算
4.1 MPI
MPI是多点接口(Multi Point Interface)的简称，是西门子公司开发的用于PLC之间通讯的保密的协议。 MPI协议是西门子内部协议，MPI是基于OSI（开放系统互联）的七层网络结构模型，符合欧洲标准EN50170所定义的PROFIBUS标准，基于令牌的的网络通信协议。 MPI 通信是SIMATIC S7多点通信的接口，是一种适用于少数站点间通信的网络，多用于连接上位机和少量PLC之间近距离通信。

4.2 网格
网格是利用互联网把地理上广泛分布的各种资源（包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等）连成一个逻辑整体，就像一台超级计算机一样，为用户提供一体化信息和应用服务（计算、存储、访问等），虚拟组织最终实现在这个虚拟环境下进行资源共享和协同工作，彻底消除资源“孤岛”，最充分的实现信息共享。

4.3 MPI、网格、云计算区别
1，并行计算通常在单一数据中心（高效的网络）组织大量资源完成某一计算任务，计算资源发挥极致。
2，网格计算在并行计算基础上强调资源可以异构。
3，云计算面向互联网环境提供更多的服务，通常采用虚拟化技术。

5物联网的四个环节
5.1标识
物联网标识是指按一定规则赋予物品易于机器和人识别、处理的标识符/代码，它是物联网对象在信息网络中的身份识别，是一个物理编码，它实现了物的数字化。
5.2感知
通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。
5.3处理
数据处理是对数据的采集、存储、检索、加工、变换和传输，目的是将原始数据转换为有用的信息。其中，数据是数字、符号、字母和各种文字的集合。数据处理的输出的是信息，并能以不同的形式呈现，例如纯文本文件、图表、电子表格或图像。​
5.4信息传输
在这个万物互联的时代，作为一个B端产品经理，往往需要关注很多来自终端的数据，那么了解物联网相关的数据传输及联网方式是非常有必要的。NFC、蓝牙Bluetooth、WiFi、ZigBee等都是信息传递的方式。

六：云计算与大数据的关系
1 从本质上来说的话，云计算实际上就是通过计算能力将一些小颗粒度的服务提供给用户来进行服务，并且收取一定的费用。
2 大数据的话就相当于一个由庞大数据量的数据库，对全方面全领域的信息进行收集，扩大自己的信息空间。
3 大数据和云计算实际上是相辅相成以及相得益彰的，可以理解成父子级的关系，大数据诞生了云计算，云计算成就了大数据。
4 再说通俗一点，云计算对数据进行挖掘，大数据对数据进行收集，两者合作的话就能够实现数据的实时交互了。