GBase 8a MPP Cluster 的数据加载和集成介绍

数据加载

       GBase 8a MPP Cluster 中, 集群加载功能直接集成在 GBase 8a MPPCluster 内部, 不需要额外部署外部加载工具。
数据加载具备如下一些特性和优点:
1)与集群高度集成;
2)面向用户的 SQL 接口方式更符合用户的使用习惯;
3)支持单表多数据源并行加载,支持多加载机对单表的并行加载,最大化提升加载性能;
4)支持从通用数据服务器拉取数据,支持ftp/http/hdfs/Kafka/sftp/https 等多种文件传输协议;
5)支持普通文本、 gzip 压缩、 snappy 压缩、 lzo 压缩等多种格式数据文件;
6)支持普通文本、定长文本、宽松模式的加载;
7)支持错误数据溯源功能,可以准确定位错误数据在源文件中的位置;
8)加载性能可以随着集群规模的扩展而持续提升。


kafka 数据集成
       数据同步系统通过 Oracle Golden Gate(OGG)、 GBase RTSync 等工具复制Oracle、 GBase 8s 等数据库的业务数据, 通过 kafka 同步到 GBase 8a MPPCluster, 为了应对业务系统可能的峰值, 在系统中加入 Kafka 消息队列作为缓冲区。总体流程如下:



       OGG 发送端(GoldenGate Extract)从 Oracle 的在线日志和归档日志中抽取事务信息,生成 Trail 文件。 OGG 接收端(GoldenGate Replicat)收到 Trail 文件抽取事务信息转换为目标格式,并生产事务消息到 Kafka。Consumer 从 Kafka 中消费事务消息,将数据更新到 8a MPP Cluster 中。
Kafka consumer 的主要功能就是同步 Kafka 数据到 8a MPP Cluster:
1) 根据配置,可以指定需要同步的业务;
2) 在同步过程中,提供同步状态查询功能;
3) 实现数据同步的高可用性和事务数据一致性。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值