GBase 8a MPP Cluster产品技术特点

        GBase 8a MPP Cluster 具有联邦构架、大规模并行计算、海量数据压缩、高效存储结构、智能索引、虚拟集群及镜像、灵活的数据分布、完善的资源管 理、在线快速扩展、在线节点替换、高并发、高可用性、高安全性、易维护、 高效加载等技术特征，具体如下：

1) 联邦架构：完全并行的 MPP + Shared Nothing 联邦架构，Gcluster调度集群、Data 计算集群、Gcware 管理集群等三个功能集群都采用多活部署，避免了单点性能瓶颈和单点故障。集群规模支持超过 1000个节点，Gcluster 调度集群和 Gcware 管理集群都支持部署 64 个节点，单个虚拟子集群支持 300 个以上的 data 计算节点。整个集群支持100PB 以上的结构化裸数据，单节点可支持 100TB 裸数据，所有节点无共享；

2) 大规模并行计算：采用分布式执行计划器、基于规则和基于代价的优化器、基于异步 I/O 技术的调度器，支持高并发、高可靠、大规模的并行调度；

3) 海量数据压缩存储：可处理 100PB 以上的结构化数据；采用先进的压缩算法、基于列存储的数据编码及高效压缩技术，减少存储数据所需的空间，并相应地提高 I/O 性能；支持实例级、表级、列级三级压缩；压缩比可达 1:20 以上；

4) 高效存储结构：集群采用 hash、random 及 replicate 的分布策略进行数据分布式存储；采用适合分析优化的列存储结构；支持行列混合存储，有效提高 select *多列查询场景下的查询性能；

5) 智能索引：采用高性能、免维护的智能索引技术，索引空间占比不超过百分之一。智能索引包含列的统计信息，在数据检索定位时可有效过滤数据，大幅降低数据库磁盘 I/O，大幅提高海量数据的查询性能；

6) 虚拟集群：通过虚拟集群技术，对一个大集群中的计算节点进行分组，形成多个虚拟子集群，各虚拟子集群在资源上物理隔离，独立规划与扩展集群规模和计算资源；各虚拟子集群在命名空间上逻辑隔离，支持多租户的使用方式。虚拟集群为所有子集群提供统一的访问入口、统一的元数据视图、统一的资源管理、统一的执行调度、统一的认证和权限管理；

7) 实时双活集群：通过虚拟集群镜像技术，在两个子集群间进行表级数据的实时复制，实现实时双活集群能力，满足更高的容灾和高可用要求，满足系统实时双活容灾和读写负载分离等业务场景需求；支持 gcluster 调度集群跨机房部署，从而增强虚拟集群镜像双活场景下的高可用能力；

8) 完善的资源管理：通过虚拟子集群实现不同业务间的横向的资源隔离，不同的子集群承载不同的业务使用不同的节点资源；通过资源池及资源使用计划的灵活配置，实现不同数据库用户的纵向的资源隔离，支持对 CPU、内存、磁盘空间、磁盘 IO、并发任务数等关键资源和指标进行管控；能够提供完善的多租户能力；

9) 在线扩展：支持集群在线扩容和缩容，一次可扩容、缩容任意个节点；支持实例级、库级、表级等多级别灵活扩展，正在扩展的表支持数据追加写和查询；扩展过程可监控，支持扩展操作的暂停、恢复、取消，支持调整扩展表的顺序和优先级；在线扩展性能大于 20TB/小时；

10) 高并发：支持读写并发，支持数据的边加载边查询，并发性能随调度节点的扩展而提升，集群并发能力大于 1000；

11) 高可用：支持进程级、节点级、集群级等多个层级的高可用；核心进程被实时监控，出故障后由守护进程及时恢复；管理节点、调度节点、计算节点采用多活部署，任何一个节点异常退出后，集群能正常提供服务，保证集群数据一致性，当出现集群断电、交换机故障等问题时能够保证数据的完整性和一致性；支持双活集群，使用虚拟集群镜像技术实现同城的两个虚拟子集群之间数据的实时同步，RPO=0、RTO=0；使用集群间数据同步方式，实现异地集群间的数据一致，做到异地多活，RPO=0，RTO<60 秒。数据通过副本提供冗余保护，支持 1 至 3 个数据副本，支持用户指定和调整副本个数、指定副本分布方式，支持故障的自动探测和自动恢复；

12) 安全性：支持用户、角色、权限控制测试，支持用户密码强度、白名单及用户锁定；支持详尽的审计日志，可配置灵活的审计策略记录相关操作的日志；支持数据存储透明加密，支持数据加密压缩，支持通信加密，采用 SHA256、SM4 等高等级加密算法；支持灵活的库内数据脱敏，通过权限控制原始数据的访问范围；支持 AES_ENCRYPT()、ENCRYPT()、MD5()、SHA1()、SHA()等加密函数；支持 Kerberos 认证方式；

13) 数据高效加载：基于策略的数据加载模式，采用副本链式转发、P2P多点传输、多加载机并行等方式，集群整体加载速度大于 30TB/小时；支持 HTTP/HTTPS、FTP/SFTP、HDFS、Kafka 等多种数据源及网络协议，支持直接从 HDFS 中加载 gzip、snnapy、lzo 等压缩格式数据；

14) 数据备份恢复：支持实例级、库级、表级全量、增量备份和恢复；支持将数据备份到 Hadoop 及从 Hadoop 中恢复数据；单节点备份恢复性能大于 800GB/小时，整个集群的备份恢复性能超过 100TB/小时；

15) 数据挖掘：内置数据挖掘算法，可直接基于库内数据、利用 MPP 并行计算资源实现数据的深度挖掘分析与机器学习，无需单独搭建机器学习平台、无需进行数据搬移。采用 SQL 方式进行数据挖掘和机器学习，提高开发效率；使用 UDF 可灵活快速的进行 AI 算法的扩充；

16) 多实例部署：支持在一个物理机上部署多个计算节点实例，可以充分发挥高配服务器、NUMA 架构服务器的硬件性能；

17) 标准化：支持 SQL 2003 ANSI/ISO 标准，支持 ODBC、JDBC、ADO.NET等接口规范；支持 C API，Python API，TCL API 等接口；支持 OLAP函数。