大数据数据库技术简介与分类分析

说起大数据生态，不得不提大数据生态系统图，而大数据行业却不断的发生着巨变，目前的这张图应该还算比较新了。

　　

 

　　创业者们蜂拥至这个行业，这个行业正变得越来越拥挤。Hadoop似乎已经奠定了其作为整个大数据生态系统的关键部分，Spark是另一个基于内存计算的开源分布式计算框架，它试图填补Hadoop的弱项，提供更快的数据分析和良好的编程接口。

　　分析工具领域变得异常活跃，数据应用领域正如预测一样逐渐成为重心。一些类别如数据库无论是NoSQL还是NewSQL和社交数据分析正日趋成熟。

　　今天就先让我们从众多内容当中，先挑选一块和大家探讨探讨，先从数据库说起吧。

　　◎数据库技术 传统vs新型

　　从大的角度讲，可以简单的将数据库分为两类：

　　●传统SMP架构的数据库，主要指代的是传统的关系型数据库，例如DB2、Postgrel,MySQL等。

　　●新型数据库，主要指代为支持大规模数量集，高并发要求，高可扩展性等孕育而生的新型数据库。包括目前大数据生态当中主流MPP,NoSQL,NewSQL数据库等。

　　传统数据库和新型数据库的一个主要区别是SMP架构VS分布式/并行。

　　◎数据库理论基础

　　理论基础 - 服务器系统架构

　　●SMP(Symmetric Multi-Processor)

　　SMP是对称多处理器结构的简称，指代多个CPU对称工作，无主次或从属关系。各个CPU共享相同的物理内存，每个CPU访问内存中的任何地址的路径是相同的(访问的时间是相同的)，因此SMP也被称为一致存储器访问结构(UMA: Uniform Memory Access)。

　　●NUMA(Non-Uniform Memory Access)

　　NUMA是非对称的多处理结构，刚好与SMP相对，多个CPU工作时，对内存的访问路径不同。NUMA架构的提出主要是解决SMP架构下多CPU扩展的问题。

　　●MPP(Massive Parallel Processing)

　　和NUMA不同，MPP提供了另一种进行系统扩展的方式。它由多个SMP服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统。

　　SMP和NUMA都主要指向单一的计算机系统，而MPP则有点集群的意思了

　　理论基础 - ACID基本理论

　　●原子性(Atomic)

　　整个事务要么成功，要么失败，杜绝部分成功

　　●一致性(Consistent)

　　事务的运行并不改变数据库中数据的一致性。例如，完整约束了a+b=10,一个事务改变了a，那么b也应该随之改变

　　●独立性(lsolated)

　　也称作隔离性，指两个以上的事务不会出现交错执行的状态，因为这样不可能会导致数据不一致

　　●持久性(Durable)

　　事务执行成功以后，该事务所对数据库做的更改便是持久的保存在数据库之中，不会无缘无故的回滚

　　传统基于关系模型的数据库遵从ACID基本理论，而新型分布式数据库则并不完全遵从该理论

　　理论基础 - 分布式CAP理论

　　

 

　　●一致性(Consistent)

　　即数据的?一致性，简单的说就是数据复制到N台机器，如果有更新，要N台机器的数据一起更新

　　●可用性(Availability)

　　在集群中一部分节点故障后，集群整体还能响应客户端的读写请求

　　●分区容错性(Tolerance)

　　分区发生但不影响整个系统的运行：

　　

 

　　基于传统关系型模型数据库更关注CA，新型NoSQL数据库更关心CP,AP

　　◎数据库分类与对比分析

　　根据体系架构来分类

　　从数据库的体系架构来看，可以将数据库分为：

　　●SMP Database

　　这类数据大多指代的是基于传统关系型数据库模型的数据库，比如IBM的DB2，Postgres，MySQL等

　　●MPP Database

　　基于MPP体系架构的数据库，例如Teradata, Greenplum, Netezza等

　　●Distribute Database

　　严格来讲MPP也应该属于分布式数据库，但这里更多指的是新型NoSQL和NewSQL数据库，例如Hbase, Cassandra, Hive, mongoDB等

　　根据SQL支持来分类

　　根据数据库对SQL的支持情况，可以将数据库分为：

　　●SQL Database

　　而SQL数据又可以细分为:

　　?Old SQL传统SQL数据库

　　?New SQL新型SQL数据库

　　?MPP

　　?SQL on Hadoop

　　●NoSQL Database

　　而NoSQL数据库本身又是非常宽泛的，其又可以分为多种类型：

　　?Key-Value Database

　　?Document Database

　　?Column family Stores

　　?Graph Database

　　SQL，NewSQL and NoSQL

　　无论是「OldSQL」,「NewSQL」还是「NoSQL」，都是大数据解决方案中经常提及的名词。那么面对传统的SQL数据库， NoSQL数据存储以及NewSQL数据该如何进行选择呢?其实，没有任何一款可以应对所有的应用场景，应该根据应用场景选择对的数据库。

　　对于传统的SQL数据库来说，它已经被使用了多年，成为了很多应用服务过程中依赖的核心组件。如果对于自身的应用来说它的运行和性能表现是可接受的，那么其实是不需要考虑替换的。没有必要的替换或更新只会引入更多的工作量，更大的风险。对于传统SQL数据库而言，其优势主要体现在：

　　●提供了系统运行多年的稳定性和可靠性，对标准SQL的支持能力

　　●与ORM的兼容度

　　●拥有更加丰富的事务处理功能

　　●即席查询的能力

　　●成熟而稳定的商业生态

　　传统SQL在过去一直处于市场的垄断地位，但是随着存储，处理和分析的数据量指数倍的快速增长，对传统SQL数据库形成了非常大的挑战，其劣势主要体现在：

　　●设计架构决定了很难进行扩展，性能瓶颈往往局限在单机的处理能力上

　　●传统SQL数据库系统设计遵循的往往是通?用标准"one size fits all"，因此在很多专用场景下也不是最优的

　　●复杂的性能调优参数，需要在性能，数据安全，资源使用等多方面平衡，调优成本非常高

　　对于NoSQL数据库来说，它在目前的大数据生态和真实应用场景中已经越来越多的被广泛的应用。对非结构，半结构化数据的支持使得在很多特定场景下的开发非常简单，对于对SQL弱依赖的业务，NoSQL的引入不但降低了本身的成本而且增加了系统的扩展性和性能。其优势主要体现在：

　　●大多NoSQL设计遵从最终一致性，因此具有更高的可用性

　　●同时基于最终一致性的系统相比于传统的OLAP关系型数据库具有更好的负载扩展性，支持更大的数据集

　　●很多NoSQL系统对于非关系性数据，例如log messages, XML and JSON documents进行了更多的优化

　　尽管NoSQL数据库技术目前发展非常迅速，应用也越来越广，但是其还是有自身的局限性：

　　●NoSQL数据库基本上不支持事务，也不遵从ACID。因此对于严格依赖ACID的应用并不适用

　　●对OLAP-style的查询并不能直接进行很好的支持，需要更多应用开发量

　　NewSQL也是目前比较流行的术语，与NoSQL相比还比较新。NewSQL系统基本上是基于关系数据库模型的，对SQL的支持非常好，与此同时尝试解决传统SQL数据库面临的问题。NewSQL数据库的设计目的不仅具有NoSQL对海量数据的存储能力，还保持了传统数据库支持ACID和SQL等特征。NewSQL的主要优势是：

　　●减少了应用研发和设计的复杂度，提供了强一致性和全事务支持

　　●对SQL的支持以及相应的标准工具

　　●丰富的数据分析SQL支持和扩展

　　●无需应用层面大的改进便可以在数据和查询模型的基础上提供类似NoSQLstyle集群方案的扩展性和性能

　　于此同时，NewSQL也存在其自身的劣势：

　　目前还没有NewSQL系统具备像传统SQL数据库系统那样的通用性

　　●由于NewSQL自身in-memory的系统架构设计，在海量数据的支持上还是面临很多技术和成本的挑战

　　下表对OldSQL,NoSQL和NewSQL：

　　

 

　　MPP and Hadoop

　　对于MPP和Hadoop而言，很多人都会把两者放在一起进行比较，可实际上这两者本身应该不太具有可比性，因为并不完全是同类的产品，之所以会比较，可能是因为在特定的应用场景下，我们不知道也不清楚该如何从他们之中进行选择。

　　无论是MPP数据库还是Hadoop,其基础架构都是以分布式为基础的。MPP数据库本质上是分布式并行关系型数据库系统，而Hadoop并不是一个简单的单一系统或技术，而是一个生态系统，由多个组件和不同的功能构建起来。

　　MPP数据库的主要架构特点是：

　　●分布式，基于网格计算技术

　　●Shared-nothing

　　●DAS(direct-attached storage)存储特质

　　●数据分区以及本地处理

　　●数据压缩

　　●高性能网络链接

　　对于MPP数据库，它比较擅长的是：

　　●关系型数据

　　●批处理

　　●即席数据查询分析

　　●低并发场景

　　●ANSI SQL支持度高

　　而与之不同的是，Hadoop?比较擅长的是：

　　●一次写多次度

　　●100+以上节点集群规模

　　●支持关系型和非关系型数据

　　●具有非常高的并发性

　　批处理和分析负载

　　具有非常好的扩展性

　　下表对MPP和Hadoop进行了对比分析：