GBase 8a 搭建数仓(二):GBase 8a 概念和功能学习笔记
GBase南大通用 GBase 8a 架构和基本概念
GBase 南大通用 GBase 8a产品架构中所有组件都具备Active-Active多活能力,逻辑概念划分如下:
l GCluster Cluster
集群的分布式调度集群,是集群的统一入口节点集合,接受上层应用的业务sql,应用接口支持GCluster Cluster节点的负载均衡。
l GCware Cluster
集群的分布式管理集群,是集群的一致性管理节点集合。
l Data Cluster
集群的分布式数据存储计算集群,是集群的数据存储计算节点集合。
l VC(Virtual Cluster)
虚拟集群,是对Data Cluster节点的划分,每个VC拥有固定数量的Data Cluster节点,VC间的Data节点不重用,VC之间资源物理隔离,各VC在整个集群范围内独立运行、互不影响。整个集群是由若干个VC组成,所有的VC由同一套GCluster Cluster和GCware Cluster管理,共享统一的入口。可以将Data集群节点按不同业务特点进行物理隔离,形成各自独立运行的VC,VC之间支持数据互访。
GBase南大通用 GBase 8a 功能:
功能 | 说明 |
数据库对象 | 提供了数据库、表、分区表、表空间、索引、视图、自定义存储过程(包括PL\SQL存储过程)、自定义函数、同义词等常用数据库对象的创建,修改和删除操作;支持行列混合存储;支持数据库用户/角色的创建、删除操作,以及用户权限的分配与回收; |
SQL标准 | 符合SQL92/SQL99/SQL 2003标准,支持CREATE、ALTER、DROP等DDL语法,支持SELECT、INSERT、UPDATE、DELETE、MERGE等DML语法,支持单表,多表联合查询 |
函数 | 支持多种标准函数,包括控制流函数、字符串函数、数值函数、日期和时间函数、转换函数、位函数、加解密函数、信息函数、辅助函数、聚集函数、OLAP函数(包括avg() over()、sum() over()、rank() over()、row_number() over()、cube、rollup、grouping sets等)、正则表达式函数等 支持C、PYTHON语言用户自定义函数扩展 |
开发接口 | 符合并支持ODBC、JDBC、ADO.NET等接口规范;支持C API,Python API,TCL API等接口;接口连接GCluster集群支持负载均衡 |
虚拟集群 | 物理集群中创建新的虚拟集群VC、删除已有VC;物理集群中导入其他物理集群已有的VC;物理集群中VC服务的独立启动、停止 |
镜像集群 | 一个物理集群中不同VC之间库、表创建镜像和删除镜像 |
节点替换 | 在线替换gcluster协调集群节点、gcware管理集群节点、VC内数据集群节点;纯新服务器替换数据节点、freenode替换数据节点;节点替换暂停和断点继续功能 |
扩容 | 在线扩容gcluster协调集群、gcware管理集群、数据节点集群 |
数据加载导出 | 支持加载导出平文本文件、avro、orc、json文件 支持加载导出压缩格式文件:gzip、snnapy、lzo 支持加载导出本地文件、ftp/sftp、http/https、hdfs、kafka、S3等数据源文件 支持kafka、hdfs数据服务器的kerberos认证和高可用 支持多表、单表并行加载,多数据源并行加载 支持加载过程监控、结果查询、错误数据溯源 |
安全管理 | 支持审计、审计策略设置 支持用户权限管理、用户密码强度、密码重用和有效期的管理、支持用户登录重试锁定、账户锁定和解锁、账户登录host限定 支持客户端接入SSL加密、用户数据加密解密、数据脱敏 支持kerberos认证 |
全文检索 | 支持创建全文索引、删除全文索引、更新全文索引、设置全文索引分词类型 全文索引支持索引库内存URL的非结构化数据文件的检索和查询 |
备份恢复 | 支持实例级、库级、表级的全量和增量备份恢复 支持异地备份 支持查看、删除备份记录,清除无效备份数据 |
高可用 | 支持集群双活 支持集群异地灾备 |
GBase南大通用 GBase 8a产品具有很强的加载能力、支持多样的ETL工具、自带完善的外围工具和良好的生态支持。