PostgreSQL 技术内幕(五）Greenplum-Interconnect模块

 Greenplum是在开源PostgreSQL的基础上，采用MPP架构的关系型分布式数据库。Greenplum被业界认为是最快最具性价比的数据库，具有强大的大规模数据分析任务处理能力。

Greenplum采用Shared-Nothing架构，整个集群由多个数据节点（Segment sever）和控制节点（Master Server）组成，其中的每个数据节点上可以运行多个数据库。

简单来说，Shared-Nothing是一个分布式的架构，每个节点相对独立。在典型的Shared-Nothing中，每一个节点上所有的资源（CPU、内存、磁盘）都是独立的，每个节点都只有全部数据的一部分，也只能使用本节点的资源。

由于采用分布式架构，Greenplum 能够将查询并行化，以充分发挥集群的优势。Segment内部按照规则将数据组织在一起，有助于提高数据查询性能，利于数据仓库的维护工作。如下图所示，Greenplum数据库是由Master Server、Segment Server和Interconnect三部分组成，Master Server和Segment Server的互联通过Interconnect实现。

图1：Greenplum数据库架构示意

同时，为了最大限度地实现并行化处理，当节点间需要移动数据时，查询计划将被分割，而不同Segment间的数据移动就由Interconnect模块来执行。

在上次的直播中，我们为大家介绍了Greenplum-Interconnect模块技术特性和实现流程分析，以下内容根据直播文字整理而成。

Interconnect概要介绍

Interconnect是Greenplum数据库中负责不同节点进行内部数据传输的组件。Greenplum数据库有一种特有的执行算子Motion，负责查询处理在执行器节点之间交换数据，底层网络通信协议通过Interconnect实现。

Greenplum数据库架构中有一些重要的概念，包括查询调度器（Query Dispatcher，简称QD）、查询执行器（Query Executor，简称QE）、执行算子Motion等。

图2：Master-Segment查询执行调度架构示意

QD：是指Master节点上负责处理用户查询请求的进程。

QE：是指Segment上负责执行 QD 分发来的查询任务的进程。

通常，QD和QE之间有两种类型的网络连接：

• libpq是基于TCP的控制流协议。QD通过libpq与各个QE间传输控制信息，包括发送查询计划、收集错误信息、处理取消操作等。libpq是PostgreSQL的标准协议，Greenplum对该协议进行了增强，譬如新增了‘M’消息类型 (QD 使用该消息发送查询计划给QE）等。

• Interconnect数据流协议：QD和QE、QE和QE之间的表元组数据传输通过Interconnect实现，Greenplum有三种Interconnect实现方式，一种基于TCP协议，一种基于UDP协议，还有一种是Proxy协议。缺省方式为 UDP Interconnect连接方式。

Motion：PostgreSQL生成的查询计划只能在单节点上执行，Greenplum需要将查询计划并行化，以充分发挥集群的优势。为此，Greenplum引入Motion算子实现查询计划的并行化。Motion算子实现数据在不同节点间的传输，在Gang之间通过Interconnect进行数据重分布。

同时，Motion为其他算子隐藏了MPP架构和单机的不同，使得其他大多数算子都可以在集群或者单机上执行。每个Motion 算子都有发送方和接收方。

此外，Greenplum还对某些算子进行了分布式优化，譬如聚集。Motion算子对数据的重分布有gather、broadcast和redistribute三种操作，底层传输协议通过Interconnect实现。Interconnect是一个network abstraction layer，负责各节点之间的数据传输。

Greenplum是采用Shared-Nothing架构来存储数据的，按照某个字段哈希计算后打散到不同Segment节点上。当用到连接字段之类的操作时，由于这一字段的某一个值可能在不同Segment上面，所以需要在不同节点上对这一字段所有的值重新哈希，然后Segment间通过UDP的方式把这些数据互相发送到对应位置，聚集到各自哈希出的Segment上去形成一个临时的数据块以便后续的聚合操作。

Slice：为了在查询执行期间实现最大的并行度，Greenplum将查询计划的工作划分为slices。Slic