GBase8a数据加载及集成

数据加载

GBase 8a MPP Cluster 中，集群加载功能直接集成在 GBase 8a MPP Cluster 内部，不需要额外部署外部加载工具。

加载工具具备如下一些特性和优点：

1）与集群高度集成，方便部署；

2）支持 SQL 及外部工具的加载方式；面向用户的 SQL 接口方式使集群和单机加载方式统一，更符合用户的使用习惯；

3）支持单表多数据源并行加载，支持多加载机对单表的并行加载，最大化加载性能；

4）支持从通用数据服务器拉取数据，支持 ftp/http/hdfs/RESTFUL/Kafka 等多种文件传输协议；

5）支持普通文本、gzip 压缩、snappy 压缩等多种格式数据文件；

6）支持普通文本、定长文本、宽松模式的加载；

7）支持错误数据溯源功能，可以准确定位错误数据在源文件中的位置；

8）加载性能可以随着集群规模的扩展而持续提升。

库服务有着非常高的可用性要求的业务场景。同时，还可应用于如：银行、保险、电信、大型零售商等行业。

kafka 数据集成

数据同步系统通过 OGG 复制 Oracle 的业务数据到 8a MPP，为了应对业务系统可能的峰值，在系统中加入 Kafka 消息队列作为缓冲区。

OGG 发送端（GoldenGate Extract）从 Oracle 的在线日志和归档日志中抽取事务信息，生成 Trail 文件。OGG 接收端（GoldenGate Replicat）收到 Trail文件抽取事务信息转换为目标格式，并生产事务消息到 Kafka。Consumer 从 Kafka 中消费事务消息，将数据更新到 8a MPP Cluster 中。

Kafka consumer 的主要功能就是同步 Kafka 数据到 8a MPP Cluster：

1） 根据配置，可以指定需要同步的业务；

2） 在同步过程中，提供同步状态查询功能；

3） 实现数据同步的高可用性和事务数据一致性；