开源大数据引擎：Greenplum 数据库架构分析

Greenplum 数据库是最先进的分布式开源数据库技术，主要用来处理大规模的数据分析任务，包括数据仓库、商务智能（OLAP）和数据挖掘等。自2015年10月正式开源以来，受到国内外业内人士的广泛关注。本文就社区关心的Greenplum数据库技术架构进行介绍。

一. Greenplum数据库简介

大数据是个炙手可热的词，各行各业都在谈。一谈到大数据，好多人认为就是Hadoop。实际上Hadoop只是大数据若干处理方案中的一个。现在的SQL、NoSQL、NewSQL、Hadoop等等，都能在不同层面或不同应用上处理大数据的某些问题。而Greenplum数据库做为一个分布式大规模并行处理数据库，在大多数情况下，更适合做大数据的存储引擎、计算引擎和分析引擎。

Greenplum数据库也简称GPDB。它拥有丰富的特性：

第一，完善的标准支持：GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展；从应用编程接口上讲，它支持ODBC和JDBC。完善的标准支持使得系统开发、维护和管理都大为方便。而现在的 NoSQL，NewSQL和Hadoop 对 SQL 的支持都不完善，不同的系统需要单独开发和管理，且移植性不好。

第二，支持分布式事务，支持ACID。保证数据的强一致性。

第三，做为分布式数据库，拥有良好的线性扩展能力。在国内外用户生产环境中，具有上百个物理节点的GPDB集群都有很多案例。

第四，GPDB是企业级数据库产品，全球有上千个集群在不同客户的生产环境运行。这些集群为全球很多大的金融、政府、物流、零售等公司的关键业务提供服务。

第五，GPDB是Greenplum（现在的Pivotal）公司十多年研发投入的结果。GPDB基于PostgreSQL 8.2，PostgreSQL 8.2有大约80万行源代码，而GPDB现在有130万行源码。相比PostgreSQL 8.2，增加了约50万行的源代码。

第六，Greenplum有很多合作伙伴，GPDB有完善的生态系统，可以与很多企业级产品集成，譬如SAS，Cognos，Informatic，Tableau等；也可以很多种开源软件集成，譬如Pentaho,Talend 等。

二. Greenplum架构

2.1 平台架构

图（1）是Greenplum数据库平台概括图。平台分为四个层次，我们依次从下往上看。

MPP核心架构

• GPDB是大规模无共享的处理架构，后面会专门介绍；

• 先进的并行优化器是性能突出的关键之一。GPDB有两个优化器，一个是基于PostgreSQL planner的优化器；一个是全新开发的ORCA优化器。ORCA是Greenplum 5年以前启动的全新项目，这个优化器经过几年的开发和测试之后，最近已经成为GPDB企业版本的默认优化器。

• GPDB的存储引擎支持多态存储，一个表的数据可以根据访问模式的不同使用不同的存储方式。存储方式对用户透明，执行查询时，不用关心待访问的数据使用的存储模式，优化器会自动选择最佳查询计划。

• 分布式数据库中，某些操作（例如跨节点关联）需要多个节点间进行数据交换。GPDB的并行数据库流引擎，可以根据数据的特点，例如分布方式、数据量等选择最合适的数据流操作符。目前