GBase 8a MPP Cluster特性

数据加载及集成

• 数据加载

GBase 8a MPP Cluster中，集群加载功能直接集成在GBase 8a MPP Cluster内部，不需要额外部署外部加载工具。
加载工具具备如下一些特性和优点：
1）与集群高度集成，方便部署；
2）支持SQL及外部工具的加载方式；面向用户的SQL接口方式使集群和单机加载方式统一，更符合用户的使用习惯；
3）支持单表多数据源并行加载，支持多加载机对单表的并行加载，最大化加载性能；
4）支持从通用数据服务器拉取数据，支持ftp/http/hdfs/RESTFUL/Kafka等多种文件传输协议；
5）支持普通文本、gzip压缩、snappy压缩等多种格式数据文件；
6）支持普通文本、定长文本、宽松模式的加载；
7）支持错误数据溯源功能，可以准确定位错误数据在源文件中的位置；
8）加载性能可以随着集群规模的扩展而持续提升。

• kafka数据集成

数据同步系统通过OGG复制Oracle的业务数据到8a MPP，为了应对业务系统可能的峰值，在系统中加入Kafka消息队列作为缓冲区。总体流程如下：

OGG发送端（GoldenGate Extract）从Oracle的在线日志和归档日志中抽取事务信息，生成Trail文件。OGG接收端（GoldenGate Replicat）收到Trail文件抽取事务信息转换为目标格式，并生产事务消息到Kafka。Consumer从Kafka中消费事务消息，将数据更新到8a MPP Cluster中。
Kafka consumer的主要功能就是同步Kafka数据到8a MPP Cluster：
1） 根据配置，可以指定需要同步的业务；
2） 在同步过程中，提供同步状态查询功能；
3） 实现数据同步的高可用性和事务数据一致性；

虚拟集群及镜像集群

• 虚拟集群

虚拟集群以大规模集群为基础开发，一个集群中包含多个VC。各VC在整个集群范围内独立运行，共享统一的入口。权限许可的情况下，各虚拟集群间可以相互访问。
支持Coordinator node和VC的data node在同一个物理节点上。

统一管理

在集群内部进行虚拟集群划分，在增强集群的扩展能力同时，提供统一的管理视图，集群可以达到千节点规模。
统一入口

用户选择Coordinator cluster中的任意一个Coordinator node作为集群入口。Coordinator node根据用户确定默认VC。
注：coordinator节点存储了所有VC的database和表的元数据。

业务隔离
虚拟集群对集群进行垂直资源隔离，在实际的业务场景中，可以实现不同业务的资源物理隔离。
透明访问
虚拟集群提供统一的访问入口（能够实现对仓库和集市的统一访问入口），应用对多个物理集群的访问对应用是透明的，对应用来说就是一个统一的集群。
镜像集群
虚拟集群的镜像功能有以下特点：
镜像表数据是主表数据的实时备份，对主表的修改将实时同步到镜像表。
高可用：主表有了镜像关系后，对于SELECT模块相当于主表多出了分片备份。SELECT模块可以利用多出的备份提升SELECT高可用能力。
灾备：支持同城异地部署集群。确保机房断电、集群整体断电、重启、交换机损坏等重大故障时，数据的完整性和一致性。可提供集群极端异常情况下的集群高可用、高可靠保障。
支持以库为单位创建、删除镜像关系。库下所有表都将创建镜像。库下所有函数、存储过程和视图都会同步在目标库下创建。