GreenPlum系列-1-概述

一、概述

Greenplum数据库是一种面向数据仓库应用的关系型的 MPP（ 大规模并行处理）数据库系统，基于PostgreSQL数据库开发。在数据存储、高并发、高可用、线性扩展、易用性等方面有明显的优势。

二、架构

1、数据库架构

2、组成

从上图了解到GP数据库包含以下三个组件：

Master：整个GP数据库系统的入口，接收连接和SQL查询，并把具体工作分配给Segment实例。维护和管理全局系统目录，即管理和维护GP数据库本身的元数据的系统表，不包含任何用户数据。通过预写日志（WAL）即所有的修改都会优先记录到WAL中，以确保数据的完整性，同时实现主、备镜像。

Segment：独立的PostgreSQL数据库，负责存储用户数据的一部分以及执行查询处理。用户通过master与GP数据中的segment交互。

Interconnect：是GP数据库架构中的网络层，负责Segment之间的进程间通信，以及查询处理在执行器节点之间的数据交换。默认使用udpifc 协议（基于UDP协议，增加ACK、重传等机制实现可靠有序的数据传输）（为什么使用UDP协议而不使用TCP协议？  UDP端口占用少，可以很好的支持大规模并行处理，并且UDP性能比TCP高。有兴趣可以深入了解TCP/UDP）

3、与PostgreSQL区别

GP基于PG开发，将PG的节点转化成集群，从下图可以直观的看出运行在master、segment节点上的实例是一个个PostgreSQL数据库。单点到集群的转换不单单是节点的扩展，会涉及到 数据分布、查询计划并行、执行并行、分布式事务等方面的设计和优化。

GP继承了PG的优势，包括多版本并发控制（MVCC）、细粒度访问控制、嵌套事务、完善的查询规划器和优化器、预写式日志等。在此基础上又增加了大量其他功能，包括AO表、列存表、外部表、多级分区表、资源管理器、查询优化器、故障检测及恢复、高可用等。

虽然GP是基于PG，但是两者间的定位是不同的。PG定位是通用型OLTP数据库，而GP是OLAP数据库。 

三、其他概念补充

MVCC：多版本并发控制，通过维护多个不同的版本，读写操作作用于不同的版本，实现并发执行以及读写互斥的问题。为保证用户拿到的是最新的版本数据，PG为每个事务分配一个事务ID（xid），通过判断当前活跃事务中最小的ID， 以及提交事务中最大的ID，从而决定事务是否可见。具体后续会单独列出讲解。

查询调度器（QD）：Master节点上负责处理用户查询请求的进程。

查询执行器（QE）：Segment节点上负责执行QD分发来的查询任务的进程。

        QD通过libpg（TCP）与各个QE之间传输控制信息，包括发送查询计划、收集错误信息、处理取消操作等。另外QD与QE 以及QE之间的表元组数据传输是通过Interconnect实现的，默认使用UDP协议（三种协议可选 TCP、UDP、Proxy）。

执行算子Motion：解决PG的查询计划只能在单点上运行问题，GP引入执行算子，实现数据在不同节点点传输，从而达到查询计划的并行化目的。

堆表：GP的默认存储方式，支持高效的更新和删除操作，访问多列时速度快，通常用于OLTP型查询。

追加优化表：AO表，为列表，具有较好的压缩性，支持不同的压缩算法，适合访问较少的列的查询场景。

四、参考

https://gp-docs-cn.github.io/docs/admin_guide/admin_guide.html