- 博客(40)
- 收藏
- 关注
RSS订阅原创 GBase 8a 资源管理——创建和管理Consumer Group
Consumer Group称为资源消费组，用户可根据具体业务资源使用状况将集群使用者分为不同的类别组，组内成员资源消费行为一致。
2022-11-28 18:17:00
208
1
原创 GBase 8a 资源管理——功能概述
每个VC之间的资源管理功能相互独立，VC内部的资源池定义，消费组规划，资源计划状态（启动/关闭），以及消费组与资源池之间的关联关系都各不相同，需要不同VC的使用者根据自身需要来进行配置。（资源池）、Resource Plan（资源计划）、Resource Directive（资源指令）组成。GBase 8a MPP Cluster资源管理功能可以对CPU、内存和IO资源进行配置和管理。GBase 8a集群资源管理由。
2022-11-28 17:56:20
249
原创 GBase 8a 脱敏功能
动态数据脱敏是否启用受当前用户权限影响，拥有unmask权限的用户不受脱敏规则影响可以访问实际数据，没有unmask权限的用户受脱敏规则影响只能访问到脱敏后的数据。动态数据脱敏并不会真正改动表中存储的实际数据，只是在查询的时候应用该特性控制查询返回的数据。脱敏只对投影列有效。
2022-11-28 17:48:56
101
原创 GBase 8a 集群安装Kerberos认证的影响
集群节点替换工具在同步文件时，需要将/opt/gcluster/config或/opt/gnode/config下扩展名为.kt和.pem/.crt/.cer/.crl的文件同步到被替换节点。从不支持kerberos认证的集群版本升级到支持Kerberos的集群版本，管理员需要执行Kerberos客户端安装与配置，手工完成Kerberos客户端环境部署。支持Kerberos认证的集群版本在执行扩容后，管理员需要执行Kerberos客户端安装与配置，手工完成Kerberos客户端环境部署。
2022-11-28 17:42:22
57
原创 GBase 8a 加载/导出Kerberos认证下HDFS文件
HDFS中集成了Kerberos安全认证情况下，GBase 8a集群节点部署Kerberos客户端后，即可以执行加载或导出Kerberos认证下的HDFS文件。以上配置完成后，即可进行加载导出操作，具体操作同普通的HDFS文件操作。
2022-11-28 17:38:00
174
原创 GBase 8a kafka consumer数据同步功能——启停命令
以下命令在任意Coordinator节点，通过gccli执行。查看consumer task属性。创建consumer task。删除consumer task。启动consumer task。停止consumer。
2022-11-28 17:21:19
513
原创 GBase 8a 资源管理——运行期信息查询
查看Resource Pool的资源使用情况。查询active plan设置。查看动态资源池中任务。
2022-09-02 11:23:20
190
原创 GBase 8a 资源管理——创建Resource Directive
若当前VC存在激活的plan，不允许执行创建、删除directive操作。
2022-09-02 11:01:51
106
原创 GBase 8a 资源管理——创建和管理Resource Plan
ResourcePlan资源计划为按照一定规律规划集群中资源使用的方案，将资源消费组挂接到合理的资源池中，以保证更有效地利用集群资源。说明在所属VC范围内，ResourcePlan名称是唯一的，不同VC中的group_name允许重名。注意若plan在directive中引用，则无法删除plan。...
2022-07-28 17:49:08
125
原创 GBase 8a 资源管理——创建和管理Resource Pool
资源池为集群任务执行过程中的资源供给者与管理者，分为静态与动态两种，静态资源池为资源供给者，而动态资源池为资源管理者，约束任务对资源的使用。因其它参数针对静态资源池无效，建议不用出现在定义语句中。...
2022-07-28 17:44:07
270
原创 GBase 8a 资源管理——创建和管理Consumer Group
ConsumerGroup称为资源消费组，用户可根据具体业务资源使用状况将集群使用者分为不同的类别组，组内成员资源消费行为一致。若consumergroup在directive中被引用，无法执行删除consumergroup操作。虚拟集群版本资源管理，在创建用户后，需要给用户授权VC后，才能添加到资源管理的消耗组中。...
2022-07-28 17:36:04
165
原创 GBase 8a 资源管理简介
在没有资源管理的情况下，多用户多任务并发执行，资源消耗得不到有效调节，会出现任务间资源激烈争抢以及消耗过度等情况，在这样的场景下，SQL的执行会变得缓慢并且不可预期，系统会因为资源使用过度而崩溃，因此需要对资源的使用进行管理调度，使得SQL任务能够高效快速的运行，系统能够更稳定。...
2022-06-27 10:19:16
240
原创 GBase8a数据可靠性
GBase 8a MPP Cluster通过冗余机制来保证集群的高可用特性：可提供1个或2个副本数据冗余； 副本间数据自动同步； 复制引擎自动管理数据同步； 多分片机制降低节点故障的木桶效应； 节点发生故障时，系统自动切换至其它节点进行工作，保证业务连续性； 支持双活集群部署。集群副本数和分片数可进行灵活配置，可配置副本分片到集群的任意一个节点上，可以根据配置在主机性能高和存储空间大的节点分配更多的主本和副本； 当节点出现异常时，可以将异常服务器的负载均匀分布在副本所在的几台正常的服务器上。
2022-05-27 17:28:20
127
原创 GBase8a在线扩容
GBase 8a MPP Cluster支持集群节点的在线扩容和缩容，效率更高，对业务的影响更小。GBase 8a MPP Cluster能够通过增加服务器节点对系统的计算和存储能力进行扩容，且扩展过程可进行监控、暂停、恢复、取消等灵活的监控及管理；系统支持在线扩展，性能线性提升，无需中断当前系统的运行，且支持一次扩展多个节点；可支持实例级、库级、表级等多级别灵活扩展方式。GBase 8a MPP Cluster具备在线扩展能力：在线动态扩展集群节点； 提供计算和存储能力； 执行调度节点和数据计
2022-05-27 17:26:59
173
原创 GBase8a多租户资源管理
GBase 8a MPP Cluster可以通过虚拟集群技术实现租户间的物理或者逻辑隔离； 在虚拟集群内，通过资源管理和资源组灵活配置不同应用和用户的资源配额和查询优先级，同时在完善的权限授权管理机制下，使得不同的应用以及不同类型的任务可以同时运行在一个集群中，但它们相互之间又得到必要的隔离，就好像运行在透明的“沙箱”一样； GBase 8a MPP Cluster资源管理功能可以对CPU、内存和IO资源进行配置和管理，其中：CPU：实现对受控SQL使用cpu 优先级和百分比控制，以及SQL并发数及.
2022-05-27 17:26:01
211
原创 GBase8a大规模并行计算
GBase 8a MPP Cluster针对数据加载和数据查询实现了自动高效的并行处理技术，充分利用SMP多核CPU资源并行处理海量数据。同时GBase 8a MPP Cluster具有智能的算法适配功能。例如灵活的Join处理方式，支持Hash Join、Nest-loop Join、Merge Join等。针对不同的数据分布及特征，会智能地选择不同算法进行处理。这也充分解决各种行业应用中Join操作，特别是10个以上的多表Join操作带来的性能压力。 GBase 8a MPP Cl...
2022-05-27 17:24:54
446
原创 GBase 8a 数据加密功能
1. 数据加密简介GBase 8a数据加密是提供对数据库落地数据的软加密功能，用来满足用户的安全需求，提高系统的安全性。数据加密按照seg文件中的DC为最小单位进行，可以实现表级或者列级不同粒度的加密要求。2. 数据加密支持的如下特性：支持加密关键字encrypt建表 支持表级或者列级不同粒度的加密要求 支持表加密属性的查询 支持密钥证书管理包括密钥证书的创建、打开、关闭、口令修改、密钥转换操作支持密钥类型转换，即从明文密钥转换到密文密钥，或从密文密钥转换到明文密钥：明文密
2022-04-06 15:25:35
1997
原创 GBase 8a 数据抽取工具orato8a——全表导出
1. 参数说明table_name：指定表名，该参数不能与query参数同时使用。参数简称t。2. 用法示例执行orato8a，将table_name参数设置要导出的表名，parallel参数可设置并行度（<=CPU核数），即可快速导出全表数据。$ ./orato8a --user='ssbm/ssbm@maya' --table_name=lineorder --file=/home/oracle/lineorder.txt --field=";" --format=3 --par
2022-04-06 15:15:02
1418
原创 GBase 8a 数据抽取工具orato8a——query参数
1. 参数说明query参数简称 q。 指定导出数据所使用的查询SQL语句。由于查询语句常有空格，该参数在指定时，需要用双引号限定。该参数不能与parallel参数同时使用。 查询语句应该为一个符合oracle语法的SQL，并且只返回一组结果集。2. 参数用法示例：示例1：--query="select * from lineorder"示例2：-q"select * from lineorder"...
2022-04-06 15:10:47
917
原创 GBase 8a 数据抽取工具orato8a用法介绍
1. 说明orato8a是用于从Oracle抽取数据，可以导入GBase 8a数据库的数据抽取工具2. 使用语法./orato8a parameter_1 parameter_2 …… parameter_nparameter_1：orato8a的参数，一个orato8a后可以使用多个参数，参数可以使用全称格式，也可以使用简称格式； 全称格式：--parameter_1=参数值，=两边不能有空格； 简称格式：-parameter_1 参数值；简写格式时，参数和参数值之间不能有空格；
2022-04-06 15:04:07
1600
原创 GBase 8a 数据加载——定长加载用法
1. 说明DATA_FORMAT指定为4，表示使用定长方式加载。如果某列数据可能包含了行分隔符，则需要在SQL中输入'HAVING LINES SEPARATOR'子句。2. 使用语法LOAD DATA INFILE 'file_list' INTO TABLE [dbname.]tbl_name DATA_FORMAT 4 [options];3. 使用示例建表语句create table t (i int, vc varchar(10), c char(10));数据文件
2022-04-06 14:44:38
486
原创 GBase 8a数据加载——AUTOFILL
1. AUTOFILL说明用于设定是否启用缺失列自动补齐功能，启用该参数后，对缺失分割符的字段数据按照default值或者NULL值进行加载，默认不自动补齐。2. 使用语法LOAD DATA INFILE 'file_list' INTO TABLE [dbname.]tbl_name FIELDS AUTOFILL;3. 加载示例建表语句create table t(a int,b varchar(10),c varchar(10));数据文件内容1|first2|
2022-04-06 14:37:07
349
原创 GBase 8a数据加载——SET参数
1. SET参数介绍：指定列值加载，加载系统将待加载文件和指定加载列值加载到集群系统的表中。输入的类型应为常量，包括字符串、整数值、浮点值和NULL。2. SET使用语法：LOAD DATA INFILE 'file_list' INTO TABLE [dbname.]tbl_name SET col_name = value[,...]3. 使用说明：支持指定所有列类型加载值； 指定列值为常量值（包括NULL），包括字符串（单引号包围）、十进制数值（10）、浮点值（10.9）、NU
2022-04-06 14:26:43
449
原创 GBase 8a 集群批量加载——FILE_FORMAT
使用FILE_FORMAT参数加载数据，file_list内所有文件均被按照同一种方式处理。1. 加载GZIP格式文件，所有文件均按此类型处理，SNAPPY、LZO文件加载方法类似。加载示例：load data infile 'http://192.168.6.39/test.tbl.gz, http://192.168.6.39/test.tbl.gz001' into table test.t fields terminated by '|' file_format gzip;2. 加
2022-03-11 15:49:33
293
原创 GBase 8a 加载集群批量加载——本地加载
1. 集群所有节点上进行本地文件加载使用file://+abs_path指定file_list信息。多个file://+abs_path之间使用逗号分隔。URL的定义格式如下：file:// +abs_path[,file:// +abs_path]加载示例：load data infile 'file:///var/ftp/pub/line5*.tbl, file:///home/gbase/lineitem.*' into table test.t fields terminat
2022-03-11 15:39:03
1240
1
原创 GBase 8a 数据加密——密钥证书管理
密钥证书的管理需要管理员用户通过SQL方式处理。证书存放在config目录，集群环境下，gnode与gcluster都会生成相同密钥证书文件：gnode：$GBASE_BASE/config/encryption.crtgcluster：$GCLUSTER_BASE/config/encryption.crt注意：建议对密钥证书进行备份，如果证书丢失会影响已有数据的解密操作； 明文密钥创建完成后，即可对加密列做dml操作；密文密钥还需要open操作，方可对加密列做dml操作，关闭密钥后，所
2022-03-11 14:45:38
416
转载 GBase 8a 数据加密——集群配置
密钥证书的口令管理同密码安全，如果开启密码检测须设置password_ format_option、password_min_length，如果未开启，则口令规则及长度不做限制； 在gnode节点config目录下的配置文件增加encrypt_server_host， encrypt_server_port参数，用于密文加密情况下，集群gnode节点重启服 务后主动向server端获取密钥数据；说明：encrypt_server_host：指向gcluster的主机I...
2022-03-11 14:25:07
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人