支撑行业大数据应用 MPP数据库技术浅析

在4月11日下午举行的《NoSQL\NewSQL应用实践》专场演讲中，来自南大通用的CTO武新老师为我们分享了关于MPP数据库技术的相关话题，包括MPP数据库技术、GBase 8a MPP Cluster特性、GBase 8a MPP Cluster行业案例，以及MPP与Hadoop混合架构等等。

　　MPP定义、目标及特性

　　武新老师表示，MPP既大规模并行处理系统，系统由许多松耦合处理单元组成的。其中，每个单元内的CPU都有自己私有的资源，如总线、内存、硬盘等。在每个单元内都有操作系统和管理数据库的实例副本。这种结构最大的特点在于不共享资源。

　　MPP架构数据库应具有的特征：

　　● 任务并行执行;

　　● 数据分布式存储(本地化);

　　● 分布式计算;

　　● 私有资源;

　　● 横向扩展;

　　● Shared Nothing架构。

　　据悉，横向扩展是MPP数据库的主要设计目标，MPP数据库的核心包括支持严格的关系模型，比如SQL92、加扩展、加存储过程;支持事务、保证数据强一致性;数据存储格式和存储分布优化;深度优化的分布式、单节点SQL优化器。

　　MPP数据库所解决的问题包括提升数据处理性能、提升数据处理量、提升海量数据处理的TCO以及降低处理每一个TB的整体成本。此外，在设计MPP架构的新型数据库，需要考虑并解决三大问题，即木桶效应问题、Domino效应问题以及数据倾斜问题。

　　GBase 8a MPP Cluster特性

　　谈到GBase 8a MPP Cluster特性，武新老师主要介绍了列存储、高效自适应压缩、智能索引以及高可用机制等。在高效自适应压缩方面，其特征主要表现在压缩比可达到1:20，远远高于行存储;压缩算法按数据类型和数据分布不同而优化，自动选择最优压缩算法;实现库级，表级，列级压缩选项，灵活平衡性能与压缩比的关系。压缩优点包括可节省90%的存储空间，大大降低TB数据处理能耗，以及压缩态下对I/O要求大大降低，数据加载和查询性能可以进一步提升。

　　GBase 8a MPP集群数据库新版功能

　　武新老师表示，GBase 8a MPP集群数据库新版的设计目标是基于通用硬件、支持PB级别的大规模数据仓库、集市、分析决策系统，支持行业大数据应用。其主要功能将包括：

　　● 行列混合存储技术;

　　● 集群间数据高速交换、复制技术;

　　● 超大规模数据库备份技术;

　　● 数据库内置全文检索技术。