GBase 8a MPP Cluster产品高级特性（1）

数据加载及集成

1、数据加载

GBase 8a MPP Cluster中，集群加载功能直接集成在GBase 8a MPP Cluster内部，不需要额外部署外部加载工具。

数据加载具备如下一些特性和优点：

1）与集群高度集成；

2）面向用户的SQL接口方式更符合用户的使用习惯；

3）支持单表多数据源并行加载，支持多加载机对单表的并行加载，最大化提升加载性能；

4）支持从通用数据服务器拉取数据，支持ftp/http/hdfs/Kafka/sftp/https等多种文件传输协议；

5）支持普通文本、gzip压缩、snappy压缩、lzo压缩等多种格式数据文件；

6）支持普通文本、定长文本、宽松模式的加载；

7）支持错误数据溯源功能，可以准确定位错误数据在源文件中的位置；

8）加载性能可以随着集群规模的扩展而持续提升。

2、kafka数据集成

数据同步系统通过Oracle Golden Gate（OGG）、GBase RTSync等工具复制Oracle、GBase 8s等数据库的业务数据，通过kafka同步到GBase 8a MPP Cluster，为了应对业务系统可能的峰值，在系统中加入Kafka消息队列作为缓冲区。总体流程如下：

图 4‑1 处理流程

OGG发送端（GoldenGate Extract）从Oracle的在线日志和归档日志中抽取事务信息，生成Trail文件。OGG接收端（GoldenGate Replicat）收到Trail文件抽取事务信息转换为目标格式，并生产事务消息到Kafka。Consumer从Kafka中消费事务消息，将数据更新到8a MPP Cluster中。

Kafka consumer的主要功能就是同步Kafka数据到8a MPP Cluster：

1. 根据配置，可以指定需要同步的业务；
2. 在同步过程中，提供同步状态查询功能；
3. 实现数据同步的高可用性和事务数据一致性。