Greenplum Stream Server(GPSS)介绍

1. GPSS简介

       Greenplum Stream Server (GPSS)是一个ETL(提取、转换、加载)工具。GPSS服务器的一个实例从一个或多个客户机接收流数据，使用Greenplum数据库可读的外部表将数据转换并插入到目标Greenplum表中。数据源和数据格式是特定于客户机的。数据源和数据格式由客户端指定。

       Greenplum Stream Server包括gpss命令行工具。运行gpss时，会启动一个gpss实例，此实例无限期地等待客户端数据。

       Greenplum Stream Server还包括gpsscli命令行工具，这是一个客户端工具，用于向GPSS实例提交数据加载作业并管理这些作业。

2. GPSS架构

        Greenplum Stream Server是一个gRPC服务器。GPSS gRPC服务定义的内容包括：连接到Greenplum数据库和检查Greenplum元数据所需的操作和消息格式；数据从客户端写入greenplum数据库表所需的操作和消息格式。

注：有关gRPC内容参考：https://grpc.io/docs/

        gpsscli命令行工具是Greenplum Stream Server的gRPC客户端工具，也可以用于操作Greenplum-Kafka 集成和Greenplum-Informatica连接器。可以使用GPSS API开发自己的GPSS gRPC客户端。

Greenplum Stream Server架构如下图：

Greenplum Stream Server 处理ETL任务的执行流程如下所示：

• 用户通过客户端应用程序启动一个或多个ETL加载作业；
• 客户端应用程序使用gRPC协议向正在运行的GPSS服务实例提交和启动数据加载作业；
• GPSS服务实例将每个加载请求事务提交给Greenplum集群的Master节点，并创建或者重用已存在外部表来存储数据。
• GPSS服务实例将客户端提交的数据直接写到Greenplum集群Segment节点中。

3. GPSS存在的问题

       同一个Greenplum Stream Server实例，当有多个客户端同时向一张表写入数据时，客户端会出现连接不稳定情况，这里需要额外做处理。一个客户端向一张表写入数据，不会存在该问题。

更多有关GPSS的文章参考如下：

GPSS安装配置：https://blog.csdn.net/u011563666/article/details/97142021

GPSS自定义客户端开发：https://blog.csdn.net/u011563666/article/details/98732024

Greenplum-Kafka 集成：待续