Greenplum——新一代 PB 级分布式 HTAP 数据库（内含PPT、视频）

获得技术资料内容，请访问Greenplum中文社区网站

 

2019年Pivotal中国研发中心副总兼Greenplum中文社区发起人姚延栋受阿里云开发者社区邀请于钉钉进行技术直播演讲《基于PostgreSQL的PB级开源企业级分布式HTAP数据库》。本文由演讲内容整理而成。

今天和大家分享的标题是《新一代PB级分布式HTAP数据库》，我加了个副标题为：Greenplum能做什么？过去，我们做的分享大多是从产品的角度，分享Greenplum有哪些特性。后来接到一些反馈，很多听众都表示在听到这些特性后，更希望知道将这些特性综合起来可以对业务有哪些支撑。因此今天重点和大家分享Greenplum能做什么，并引出背后需要什么样的技术支撑。

 

 

Greenplum是个关系型数据库，支持完善的ACID，HTAP是这几年比较流行的方向，是指Transaction和Analytics混合处理在一个系统里。分布式是指一个集群有很多节点，每个节点处理一部分的任务，从而实现速度更快更高可用的处理。PB级是指Greenplum可支持的数据量，我们已经有大量的客户在生产集群里使用Greenplum支持PB级数据量。

 

在标题中，我使用了“新一代”的字样。 有人也许会提出疑问，Greenplum是MPP架构，这个架构从80年代就有人研究，为什么会用新一代来形容。 其实MPP只是Greenplum的骨架特点之一，经过多年的发展，Greenplum加入很多的新技术， 可以处理HTAP场景，具有结构化数据、半结构化数据、Text、GIS的支持能力，可以实现数据库内嵌的机器学习能力。 关于什么叫做新架构： 可以和大家交流一个关于列存（Column Storage）的故事： 大数据处理使得列存非常流行，但是大家知道不知道谁最早做的列存？ 实际上世界上第一款关系型数据库 SystemR（上世纪70年代初开发）第一版本实现时，数据存储就是现在我们说的列存。 第一版做完后，总结了设计的一些缺陷，其中包括使用列存。 如今列存成为了用来解决大数据的主流技术。 很多时候，创新都会用一个已经被发明的老技术来解决新时代的问题。

 

接下来和大家主要讲一讲Greenplum能做什么。首先是数仓、OLAP、即席分析。这三个词很多时候指的是一回事。细扣的话各自也有不同的侧重。

• 数仓是一种数据库类型，用来做BI和复杂查询处理， 强调的是来自各种数据源的历史数据的分析，产生商业智能（BI） ；

• OLAP是一组操作，例如pivot/slice/dice/drilling/cube 等。（https://stackoverflow.com/questions/18916682/data-warehouse-vs-olap-cube。） 强调的是处理 ；

• 即席分析：强调的是查询时ad-hoc的，不是预先设计好的 SQL 查询，强调需求和解决问题的动态性，不是静态需求 ；

数仓、OLAP、即席分析，这三个词有各自的侧重点，但总体上都是指数据分析。 一半以上Greenplum客户在这种场景下使用Greenplum，解决的是数仓问题、在线分析问题和即席查询问题。 这个场景也是Greenplum创始团队2004年前后创业时主攻的市场。 经过15年的研发和打磨，Greenplum在该领域具备了极大的优势，在全球范围内有良好的口碑。

 

 

口碑和优势并不是靠我们“王婆卖瓜自卖自夸”，而是来源于客户对产品的信赖和支持。这是 Gartner 2019年发布的报告。我们可以看到 Greenplum 在经典数仓领域排名第三，前两名是Teradata和Oracle，他们都经过长达40多年的发展，相比之下，Greenplum还处于青少年时期，发展更为快速。  此外在实时数仓领域，并列排名第4。取得这样的认可，需要很多方面的因素，除了技术，还有服务、支持、品牌等。但技术肯定是重要一环。接下来，我们来看看，从技术上，Greenplum是如何来解决数仓和 OLAP 问题的。

 

 

首先，