GBASE 8a MPP Cluster 核心技术 -- MPP大规模并行计算技术

GBase 8a MPP Cluster为非对称部署的联邦架构，GCluster Cluster和 GCware Cluster单独部署为一个集群，最大节点数为64，GNode Cluster单独部署为一个集群，支持300个以上的节点部署，可处理30PB以上的结构化数据。

       MPP大规模并行计算技术主要包括：

1.大规模并行计算
       GBase 8a MPP Cluster采用MPP技术主要特点有：

• 分布式并行计划器，结合集群特征，对算子行进分布式处理，生成适合的分布式执行计划；
• 通过基于规则和基于代价的优化，保证执行计划的高效；
• 调度器采用异步IO等技术，确保调度的高效、可靠

2.高可用能力
       GBase 8a MPP Cluster通过冗余机制来保证集群的高可用特性：
 

• 可提供1个或2个副本数据冗余；
• 副本间数据自动同步；
• 复制引擎自动管理数据同步；
• 多分片机制降低节点故障的木桶效应；
• 节点发生故障时，系统自动切换至其它节点进行工作，保证业务连续性；
• 支持双活集群部署。

       集群副本数和分片数可进行灵活配置，可配置副本分片到集群的任意一个节点上，可以根据配置在主机性能高和存储空间大的节点分配更多的主本和副本。

       当节点出现异常时，可以将异常服务器的负载均匀分布在副本所在的几台正常的服务器上。这样就最大限度防止由于故障切换后木桶效应而引起的显著的性能抖动。

       节点故障对应用透明，不会中断正在执行业务，一旦故障结点恢复正常，GBase 8a MPP Cluster会从其他节点上的数据恢复该节点数据，在完成更新后立即提供服务。



       数据分片和副本分片的灵活配置

3.高性能扩展能力
       GBase 8a MPP Cluster能够通过增加服务器节点对系统的计算和存储能力进行扩容，且扩展过程可进行监控、暂停、恢复、取消等灵活的监控及管理；系统支持在线扩展，性能线性提升，无需中断当前系统的运行，且支持一次扩展多个节点；可支持实例级、库级、表级等多级别灵活扩展方式。

       GBase 8a MPP Cluster具备高性能扩展能力：
 

• 在线动态扩展集群节点；
• 每个节点可以处理100TB有效数据，同时提供计算和存储能力；
• 执行调度节点和数据计算节点可以按需独立扩展。

       GBase 8a MPP Cluster扩展技术示意图

       上图中最后一个“执行调度节点”和“数据存储及计算节点”是在原有节点基础上新扩展的节点，可以扩展调度节点，也可以扩展存储和算子节点。因为GBase 8a MPP Cluster采用高性能单节点的MPP架构，因此进行集群扩展时，可以保证平滑扩展和性能的线性增长特性，如下图所示：



       GBase 8a MPP Cluster高性能高扩展示意图

4.高性能数据加载能力
       GBase 8a MPP Cluster数据加载功能实现了所有数据运算节点并行处理数据及复本转发技术，具备很高的加载性能：

       在单台数据服务器的情况下，集群加载可以达到数据服务器硬件资源性能的上限；
       随着数据服务器和集群节点数的增加，集群加载性能可以持续提升。

    
       GBase8a MPP Cluster数据加载示意图

5.多租户能力
       GBase 8a MPP Cluster可以通过虚拟集群技术实现租户间的物理或者逻辑隔离。

       在虚拟集群内，通过资源管理和资源组灵活配置不同应用和用户的资源配额和查询优先级，同时在完善的权限授权管理机制下，使得不同的应用以及不同类型的任务可以同时运行在一个集群中，但它们相互之间又得到必要的隔离，就好象运行在透明的“沙箱”一样。

6.备份和恢复

       大数据不仅仅给数据处理和分析查询的性能带来挑战，对备份和恢复的要求也更高。因为数据量巨大，如果备份和恢复的速度跟不上，在意外、故障或灾难发生时，无法及时使数据库得到恢复，系统和业务的可用性就无法得到保障。
GBase 8a MPP Cluster 提供全面的基于实例级、库级、表级的备份和恢复功能，包括：
1) 全量备份和恢复；
2) 增量备份和恢复： 允许基于任意一个备份点进行数据恢复。

7.OLAP 函数
       GBase 8a MPP Cluster 提供 OLAP 函数，用于支持复杂的分析操作，侧重于对决策人员和高层管理人员的决策支持。可根据分析人员的要求，快速灵活地进行大数据量的复杂查询处理，以便他们准确掌握企业的经营状况，了解被服务对象的需求，制定正确的方案。