大数据

第十一章 大数据技术与实践

大数据定义

大数据一词由英文“big data”翻译而来，是最近几年兴起的概念，目前还没有一个统一的定义。相比于过去的“信息爆炸”的概念，它更强调数据量的“大”。大数据的”大“是相对而言的，是指所处理的数据规模巨大到无法通过目前主流数据库软件工具处理，在可以接受的时间内完成抓取、存储、管理和分析，并从中提取出人类可以理解的信息。”大“是与时俱进的，不能以具体的数据量来界定大数据与普通数据。

大数据的4V特征

业界普遍认同大数据具有4V特征：数据量大Volume、变化速度快Velocity、多类型Variety与高价值Value

1、Volume是大数据的首要特征，数据体量巨大。当今世界需要进行及时处理以提取有用信息的数据数量级已经从TB级别，跃升到PB甚至EB级别。

2、Variety：数据类型繁多。大数据的挑战不仅是数据量的大，也体现在数据类型的多样化。除了前文提到的网络日志、地理位置信息等具有固定结构的数据之外，还有视频、图片等非结构化数据。

3、Velocity：处理速度快。信息的价值在于及时，超过特定时限的信息就失去了使用的价值。

4、Value：商业价值高，但是价值密度低。单个数据的价值很低，只有大量数据聚合起来处理才能借助历史数据预测未来走势，体现出大数据计算的价值所在。

大数据存储平台

HDFS

HDFS（全称Hadoop Distributed File System）原是Apache开源项目Nutch的组件，现在成为是Hadoop的重要组件，它是一款具有高容错性特点的分布式文件系统，它被设计为可以部署在造价低廉的主机集群上。它将一个大文件拆分成固定大小的小数据块，分别存储在集群的各个节点上。因此HDFS可以存储超大的数据集和单个巨大的文件。这样的分布式结构能够进行不同节点的并行读取，提高了系统的吞吐率。同一个数据块存储在不同的数据节点上，保证了HDFS在节点失败时还能继续提供服务，使其具有了容错性。

HDFS设计目标：
1、检测和恢复硬件故障
2、存储大数据集
3、应用程序流式地访问HDFS上的数据集。
4、由于大部分MapReduce 程序对HDFS上的文件是一次写入，多次读取的
5、可移植性
6、让计算机数据的位置而移动

HBase

Apache HBase是运行于Hadoop平台上的数据库，它是可扩展的、分布式的大数据储存系统。HBase可以对大数据进行随机而实时的读取和写入操作。它的目标是在普通的机器集群中处理巨大的数据表，数据表的行数和列数都可以达到百万级别。受到Google Bigtable 思想启发，Apache开发出HBase, HBase是一个开源的、分布式的、数据多版本储存的、面向列的大数据储存平台。Google的Bigtable是运行于GFS（Google File System）上的，而HBase是运行与Apache开发的Hadoop平台上。

HBase的特性包括：
1）线性和模块化的扩展性；
2）严格的读写一致性；
3）自动且可配置的数据表分片机制；
4）RegionServer之间可以进行热备份切换；
5）为MapReduce操作HBase数据表提供方便JAVA基础类；
6）易用的JAVA客户端访问API；
7）支持实时查询的数据块缓存和模糊过滤；
8）提供Trift网关和REST-ful Web服务，并支持XML，Protobuf和二进制编码；
9）可扩展的Jrubyshell；
10）支持通过Hadoop检测子系统或JMX导出检测数据到文件、Ganglia集群检测系统。

Cassandra

Cassandra是社交网络理想的数据库，适合于实时事务处理和提供交互型数据。以Amazon的完全分布式的Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，P2P去中心化的存储，目前twitter和digg中都有使用。在CAP特性上(CAP即Consistnecy 一致性，Avaliability 可用性，Partition-tolerance分区容忍性)，HBase选择了CP，Cassandra更倾向于AP，而在一致性上有所减弱。

Redis

Redis是一种面向“键/值”对类型数据的分布式NoSQL数据库系统，特点是高性能，持久存储，适应高并发的应用场景。
Redis是一个支持持久化的内存数据库(与Memcache类似),也就是说redis需要经常将内存中的数据同步到磁盘来保证持久化。整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库 数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。
Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外单个value的最大限制是1GB，不像 memcached只能保存1MB的数据，因此Redis可以用来实现很多有用的功能。

大数据计算模式

PRAM

PRAM模型，即并行随机存取机，也称之为SIMD-SM(共享存储的单指令流多数据流)模型，是一种应用于并行计算抽象模型｡PRAM模型是顺序的冯·诺伊曼存储程序模型的自然扩展，由若干具有本地存储器的处理器和一个具有无限容量的共享存储器组成，处理器由公共的时钟进行控制,以同步方式运行。

优点：
　　RPAM结构简单，简便易行；
　　PRAM能够表达大多数并行算法
　　PRAM让算法设计变得简单；让并行算法更加容易移植到不同的并行系统上;
　　可以按需加入一些诸如同步和通信等功能｡

缺点：
　　1）PRAM是一个同步模型，其同步过程很费时的；
　　2）模型中使用了一个全局共享存储器，且本地存储容量较小，不能很好的体现当前比较多见的分布主存多处理机的性能瓶颈；
　　3）单一共享存储器的假定,不适合于异步分布存储的MIMD机器；
　　4）假定每个处理器均可在单位时间内访问任何存储单元，因此要求处理机间通信无延迟、无限带宽和无开销，忽略多个处理器在访问同一存储空间的竞争问题以及处理器读写存储单元带宽有限性等实践中普遍存在的问题，这一假设显然是不现实的；
　　5）不能很好地描述多线程技术和流水线预取技术，这两种技术当今并行体系结构应用最普遍的技术。

BSP

BSP(Bulk Synchronous Parallel)模型，由哈佛大学Viliant和牛津大学Bill McColl提出，希望像冯·诺伊曼体系结构那样，架起计算机程序语言和体系结构间的桥梁，故又称作桥模型(Bridge Model)。本质上，BSP模型是分布存储的MIMD计算模型，被认为是最有前途的并行计算模型。
一个BSP计算机由n个处理机/存储器组成，通过通信网络进行互联，。一台BSP并行计算机包含三个部分组成：并行计算模块、通信模块、路障同步模块。

logP

LogP模型是一种分布存储的、点到点通信的多处理机模型，其中通信网络由4个主要参数来描述：
L(Latency) 表示源处理机与目的处理机进行消息（一个或几个字）通信所需要的等待或延迟时间的上限，表示网络中消息的延迟。
o(overhead)表示处理机准备发送或接收每个消息的时间开销（包括操作系统核心开销和网络软件开销），在这段时间里处理不能执行其它操作。
g(gap)表示一台处理机连续两次发送或接收消息时的最小时间间隔，其倒数即微处理机的通信带宽
P(Processor)处理机/存储器模块个数。
LogP模型假定一个周期完成一次局部操作，并定义为一个时间单位，那么，L，o和g都可以表示成处理器周期的整数倍。

LogP模型的主要特点有：
　　1)抓住了网络与处理机之间的性能瓶颈。
　　2)处理机之间异步工作，并通过处理机间的消息传送来完成同步
　　3)对多线程技术有一定反映
　　4)消息延迟不确定，但延迟不大于L
　　5)LogP模型鼓励编程人员采用一些好的策略
　　6)可以预估算法的实际运行时间。

LogP模型的不足之处有：
　　1）对网络中的通信模式描述的不够深入。
　　2）简单地认为远地读操作相当于两次消息传递，未考虑流水线预取技术、Cache引起的数据不一致性以及Cache命中率对计算的影响。
　　3）未考虑多线程技术的上下文开销。
　　4）LogP模型假设用点对点消息路由器进行通信，这增加了编程者考虑路由器上相关通信操作的负担。

MapReduce

MapReduce是Google公司提出的一种用于大规模数据集（大于1TB）的并行运算的编程模型。

执行流程
（1）数据分片
（2）Master分配Map任务
（3）分配了map任务的worker读取和处理相关split的内容
（4）Master协调分配reducer到相应Mapper获取数据，期间称为Shuffle，包括一个按Key排序过程。
（5）Reducer对每个Key相应的Value列表进行读取并处理
（6）Reducer将处理后的文件写入HDFS输出文件

优点：
1、移动计算而不是移动数据，避免了额外的网络负载。
2、任务之间相互独立，实现高容错性。
3、理想状态下可线性扩展的，是为便宜的商业机器而设计的计算模型。
4、MapReduce模型结构简单，终端用户至少只需编写Map和Reduce函数。
5、集群扩展代价曲线平坦。

缺点：
1、一个中心用于同步各个任务。
2、用MapReduce模型来实现常见的数据库连接操作效率低下。
3、MapReduce集群管理、调试、部署以及日志收集工作困难。
4、单个Master节点有单点故障的可能性。
5、当中间结果必须给保留的时候，作业的管理并不简单。
6、对于集群的参数配置调优需要较多经验。

大数据分析处理平台

Impala

Impala是CDH（Cloudera Distribution with Apache Hadoop）的一个组件，是一个对大量数据并行处理（MPP-Massively Parallel Processing）的查询引擎。

HadoopDB

HadoopDB旨在结合MapReduce的可扩展性优势和并行数据库的性能、效率优势，以管理和分析大数据。HadoopDB背后的基本思想是，连接多个单节点数据库系统 (PostgreSQL)，使用 Hadoop 作为任务协调者和网络通信层；查询用 SQL 表达，但是其执行是使用 MapReduce 框架跨节点并行化的，以便将单一查询工作尽可能推送到相应的节点数据库中。

HadoopDB的基本原理是，利用Hadoop对部署在集群中多个单一结点上的DBMS服务器进行读取。

HadoopDB的优点：
结合Hive对SQL强大的支持并直接生成map/reduce任务，不需要再手动编写map/reduce程序；
利用关系数据库查数据利用单节点的性能优势；
利用Hadoop所具有的高容错性、高可用性以及对于高通量计算的性能优越性。
HadoopDB的缺点有：
如果不想手动编写map/reduce程序，则只能查询的SQL语句的数据来源不能来自多张表，原因是因为他目前只相当对一个数据库的多个分块并行查询，所以不能做到多分块的数据关系处理。当然为了实现多表join,可手动改造InputFormat以实现；
其数据预处理代价过高：数据需要进行两次分解和一次数据库加载操作后才能使用；
将查询推向数据库层只是少数情况，大多数情况下，查询仍由Hive 完成．
维护代价过高．不仅要维护Hadoop系统，还要维护每个数据库节点；
目前尚不支持数据的动态划分，需要手工一次划分好。