由于GBase 8a MPP Cluster数据库被广泛应用在数据仓库领域,所以,GBase 8a MPP Cluster数据库在很早就开发出了GBase 8a MPP Cluster数据库产品自带的数据集成能力,如下图所示:
图:数据集成:整合信息孤岛,实时数据接入
如上图所示,GBase 8a MPP Cluster数据库可以支持多种数据源的加载和同步操作,同时,通过和Kafka系统无缝集成,主流GBase 8a MPP Cluster数据库能实现和主流关系型、非关系型数据的实时流式加载。对GBase 8a MPP Cluster数据库功能的巧妙使用,最终达到数据整合的目的。
同时,由于GBase 8a MPP Cluster数据库集群的架构设计,可以实现多节点的并行加载。相比传统关系型数据库如Oracle,在节点数较多的情况下,加载性能提升10-100倍。
此外,GBase 8a MPP Cluster数据库本身自带的产品功能在数据集成方面具有如下特性:
- 支持直接从HDFS加载gzip、snappy、lzo等压缩格式数据文件;
- 支持多源并行数据加载和导出,包括多种网络协议,如ftp、sftp、hdfs和http等;
- 支持基于Kafka作为数据源进行的实时数据加载;
- 支持以Amazon S3对象存储作为数据源进行数据加载;
- 支持同构和异构数据库集群之间的DBLink功能,支持源端数据库对目标端DBlink表的读写操作;
- 具备从Hadoop平台进行数据导入和向Hadoop平台进行数据导出的能力。