GreenPlum数据库调研及架构介绍

简介

http://docs-cn.greenplum.org/v6/admin_guide/intro/arch_overview.html

Greenplum数据库是一种大规模并行处理（MPP）数据库服务器，其架构特别针对管理大规模分析型数据仓库以及商业智能工作负载而设计。

Greenplum数据库是基于PostgreSQL开源技术的。它本质上是多个PostgreSQL面向磁盘的数据库实例一起工作形成的一个紧密结合的数据库管理系统（DBMS）。其SQL支持、特性、配置选项和最终用户功能在大部分情况下和PostgreSQL非常相似。 与Greenplum数据库交互的数据库用户会感觉在使用一个常规的PostgreSQL DBMS。

Greenplum数据库和PostgreSQL的主要区别在于：

• 在基于Postgres查询规划器的常规查询规划器之外，可以利用GPORCA进行查询规划。
• Greenplum数据库可以使用追加优化的存储。
• Greenplum数据库可以选用列式存储，数据在逻辑上还是组织成一个表，但其中的行和列在物理上是存储在一种面向列的格式中，而不是存储成行。 列式存储只能和追加优化表一起使用。列式存储是可压缩的。当用户只需要返回感兴趣的列时，列式存储可以提供更好的性能。 所有的压缩算法都可以用在行式或者列式存储的表上，但是行程编码（RLE）压缩只能用于列式存储的表。Greenplum数据库在所有使用列式存储的追加优化表上都提供了压缩。

Greenplum数据库也包括为针对商业智能（BI）负载优化PostgreSQL而设计的特性。 例如，Greenplum增加了并行数据装载（外部表）、资源管理、查询优化以及存储增强，这些在PostgreSQL中都是无法找到的。 很多Greenplum开发的特性和优化都在PostgreSQL社区中找到了一席之地。例如，表分区最初是由Greenplum开发的一个特性，现在已经出现在了标准的PostgreSQL中。

整体类别

计算

计算+接口

计算+存储+接口

存储

http://docs-cn.greenplum.org/v6/admin_guide/intro/arch_overview.html

Greenplum数据库可以使用追加优化（append-optimized，AO）的存储格式来批量装载和读取数据，并且能提供HEAP表上的性能优势。 追加优化的存储为数据保护、压缩和行/列方向提供了校验和。行式或者列式追加优化的表都可以被压缩。

Greenplum数据库支持多种存储模型和一种混合存储模型。 当用户创建一个表时，用户会选择如何存储它的数据。

堆存储

默认情况下，Greenplum数据库使用和PostgreSQL相同的堆存储模型。 堆表存储在OLTP类型负载下表现最好，这种环境中数据会在初始载入后被频繁地修改。 UPDATE和DELETE操作要求存储行级版本信息来确保可靠的数据库事务处理。 堆表最适合于较小的表，例如维度表，它们在初始载入数据后会经常被更新。

追加优化存储（AO表）

追加优化表存储在数据仓库环境中的非规范表表现最好。 非规范表通常是系统中最大的表。 事实表通常成批地被载入并且被只读查询访问。 将大型的事实表改为追加优化存储模型可以消除每行中的更新可见性信息负担，这可以为每一行节约大概20字节。 这可以得到一种更加简洁并且更容易优化的页面结构。 追加优化表的存储模型是为批量数据装载优化的，因此不推荐单行的INSERT语句。

选择面向行或者面向列的存储

Greenplum提供面向存储的模型选择：行，列或两者的组合。 

• 面向行的存储：适用于具有许多迭代事务的OLTP类型的工作负载以及一次需要多列的单行，因此检索是高效的。
• 面向列的存储：适合于在少量列上计算数据聚集的数据仓库负载，或者是用于需要对单列定期更新但不修改其他列数据的情况。

对于大部分常用目的或者混合负载，面向行的存储提供了灵活性和性能的最佳组合。 不过，也有场景中面向列的存储模型提供了更高效的I/O和存储。 在为一个表决定存储方向模型时，请考虑下列需求：

• 表数据的更新。如果用户会频繁地装载和更新表数据，请选择一个面向行的堆表。 面向列的表存储只能用于追加优化表。
• 频繁的插入。如果频繁地向表中插入行，请考虑面向行的模型。 列存表并未对写操作优化，因为一行的列值必须被写到磁盘上的不同位置。
• 查询中要求的列数。如果在查询的SELECT列表或者WHERE子句中常常要求所有或者大部分列，请考虑面向行的模型。 面向列的表最适合的情况是，查询会聚集一个单一列中的很多值且WHERE或者HAVING谓词也在该聚集列上。
• 表中的列数。在同时要求很多列或者表的行尺寸相对较小时，面向行的存储会更有效。 对于具有很多列的表且查询中访问这些列的一个小子集时，面向列的表能够提供更好的查询性能。
• 压缩。列数据具有相同的数据类型，因此在列存数据上支持存储尺寸优化，但在行存数据上则不支持。 例如，很多压缩方案使用临近数据的相似性来进行压缩。 不过，临近压缩做得越好，随机访问就会越困难&