第十一章

大数据概述
大数据的“大”是相对而言的，是指所处理的数据规模巨大到无法通过目前主流数据库软件工具，在可以接受的时间内完成抓取、储存、管理和分析，并从中提取出人类可以理解的资讯。
业界普遍认同大数据具有4个 V特征(数据量大Volume、变化速度快Velocity、多类型Variety与高价值Value)。简而言之，大数据可以被认为是数据量巨大且结构复杂多变的数据集合。
第一个特征Volume是大数据的首要特征，数据体量巨大。当今世界需要进行及时处理以提取有用信息的数据数量级已经从TB级别，跃升到PB甚至EB级别。
第二个特征Variety：数据类型繁多。大数据的挑战不仅是数据量的大，也体现在数据类型的多样化。除了前文提到的网络日志、地理位置信息等具有固定结构的数据之外，还有视频、图片等非结构化数据。
第三个特征Velocity：处理速度快。信息的价值在于及时，超过特定时限的信息就失去了使用的价值。
最后一个特征是Value：商业价值高，但是价值密度低。单个数据的价值很低，只有大量数据聚合起来处理才能借助历史数据预测未来走势，体现出大数据计算的价值所在。
HDFS（全称Hadoop Distributed File System）原是Apache开源项目Nutch的组件，现在成为是Hadoop的重要组件，它是一款具有高容错性特点的分布式文件系统，它被设计为可以部署在造价低廉的主机集群上。它将一个大文件拆分成固定大小的小数据块，分别存储在集群的各个节点上。因此HDFS可以存储超大的数据集和单个巨大的文件。这样的分布式结构能够进行不同节点的并行读取，提高了系统的吞吐率。同一个数据块存储在不同的数据节点上，保证了HDFS在节点失败时还能继续提供服务，使其具有了容错性。
HBase简介
Apache HBase是运行于Hadoop平台上的数据库，它是可扩展的、分布式的大数据储存系统。HBase可以对大数据进行随机而实时的读取和写入操作。它的目标是在普通的机器集群中处理巨大的数据表，数据表的行数和列数都可以达到百万级别。受到Google Bigtable 思想启发，Apache开发出HBase, HBase是一个开源的、分布式的、数据多版本储存的、面向列的大数据储存平台。Google的Bigtable是运行于GFS（Google File System）上的，而HBase是运行与Apache开发的Hadoop平台上。
HBase的特性包括：
1）线性和模块化的扩展性；
2）严格的读写一致性；
3）自动且可配置的数据表分片机制；
4）RegionServer之间可以进行热备份切换；
5）为MapReduce操作HBase数据表提供方便JAVA基础类；
6）易用的JAVA客户端访问API；
7）支持实时查询的数据块缓存和模糊过滤；
8）提供Trift网关和REST-ful Web服务，并支持XML，Protobuf和二进制编码；
9）可扩展的Jrubyshell；
10）支持通过Hadoop检测子系统或JMX导出检测数据到文件、Ganglia集群检测系统。
列是数据增量最底层（也就是最小）的部分。
超级列与列的区别就是，标准列的value是一个字节数组，而超级列的value包含多个列，且超级列没有时间戳，超级列中的各个列的时间戳可以是不同的。
列族概念和存储方式与HBase类似。
超级列族概念上和普通列族相似，只不过它是超级列的集合

PRAM优缺点
优点：
　　RPAM结构简单，简便易行；
　　PRAM能够表达大多数并行算法
　　PRAM让算法设计变得简单；让并行算法更加容易移植到不同的并行系统上;
　　可以按需加入一些诸如同步和通信等功能｡
缺点：
　　1）PRAM是一个同步模型，其同步过程很费时的；
　　2）模型中使用了一个全局共享存储器，且本地存储容量较小，不能很好的体现当前比较多见的分布主存多处理机的性能瓶颈；
　　3）单一共享存储器的假定,不适合于异步分布存储的MIMD机器；
　　4）假定每个处理器均可在单位时间内访问任何存储单元，因此要求处理机间通信无延迟、无限带宽和无开销，忽略多个处理器在访问同一存储空间的竞争问题以及处理器读写存储单元带宽有限性等实践中普遍存在的问题，这一假设显然是不现实的；
　　5）不能很好地描述多线程技术和流水线预取技术，这两种技术当今并行体系结构应用最普遍的技术。
BSP模型的优缺点　　
优点：
BSP并行模型独立于体系结构，接近现有的并行系统，可以在绝大多数目标体系结构上有效地实现。
BSP并行模型以超步为基本单位进行并行计算，这使得BSP并行程序设计简单清晰，有点类似顺序程序的编写。
BSP并行程序的性能是可以预测的，可以在系统编写之前进行理论分析预测系统是否可行。
局限：
需要算法设计人员显式地将同步机制编入算法中，导致算法设计有难度。
限制每个超级步至多可以传递h条消息，限制了消息传递的效率。
BSP（整体大同步）简化了算法的设计和分析，牺牲了算法运行时间，因为路障延迟意味着所有进程必须等待最慢者。一种改进是采用子集同步，将所有进程按照快慢程度分成若干个子集。如果子集小，其中只包含成对的收发者，则它就变成了异步的个体同步，即logp模型。另一种改进是去除路障同步限制，改用异步模式，即异步BSP（A-BSP）。
MapReduce的优缺点
优点：
1、移动计算而不是移动数据，避免了额外的网络负载。
2、任务之间相互独立，实现高容错性。
3、理想状态下可线性扩展的，是为便宜的商业机器而设计的计算模型。
4、MapReduce模型结构简单，终端用户至少只需编写Map和Reduce函数。
5、集群扩展代价曲线平坦。
局限：
1、一个中心用于同步各个任务。
2、用MapReduce模型来实现常见的数据库连接操作效率低下。
3、MapReduce集群管理、调试、部署以及日志收集工作困难。
4、单个Master节点有单点故障的可能性。
5、当中间结果必须给保留的时候，作业的管理并不简单。
6、对于集群的参数配置调优需要较多经验。
Spark的优缺点
优点：
在迭代任务方面，Spark的执行效率更高，远超过Hadoop 。
Spark能够做到与用户互动式的查询。
快速的故障恢复。RDD的DAG令Spark具有故障恢复的能力。
在不同的Action之间，RDD是可以共享的。
缺点：
对于多用户多作业的集群来说，Spark的Driver很可能形成整个集群性能的瓶颈。
Spark不适用于异步更新共享状态、数据的操作，常见的有增量的网络爬虫系统的数据库。