GBase 8a MPP Cluster
文章平均质量分 68
manhuai2022
这个作者很懒,什么都没留下…
展开
-
GBase 8a集群双活容灾方案
MPP分析型集群的容灾备份在技术实现上、灾备级别要求上都与在线生产系统的OLTP事务数据库有较大差异。如事务数据库具有完备的WAL(write ahead logging)事务日志,灾备可以通过事务日志实现数据库的备份、双活复制、异地容灾等;MPP分析型数据库为追求大吞吐性能去掉了事务日志支持,无法采用基于事务日志的容灾备份方案。原创 2022-11-02 10:29:37 · 107 阅读 · 0 评论 -
GBase 8a MPP Cluster 解决时间维度的分区管理
GBase 8a MPP Cluster 解决时间维度的分区管理原创 2022-09-02 10:45:11 · 225 阅读 · 0 评论 -
GBase 8a DBA运维命令
GBase 8a MPP Cluster 数据库管理员 常用命令原创 2022-09-02 10:32:39 · 836 阅读 · 0 评论 -
GBase 8a MPP Cluster 维护-日志篇
GBase 8a MPP Cluster 集群不同的日志原创 2022-08-17 16:37:57 · 145 阅读 · 0 评论 -
GBase gcrcman 备份恢复工具
为应对数据丢失或损坏对用户业务造成不利影响,在异常情况下快速恢复系统,GBase 8a MPP Cluster 提供专用的备份恢复工具(gcrcman),用户使用它可以方便地对整个集群中的数据进行集群的备份和恢复。集群的备份、恢复工具随集群的安装自动安装,该工具安装在$GCLUSTER_BASE/server/bin 目录下。Cluster 根据用户业务的需要提供全量备份、增量备份和恢复功能。...原创 2022-08-17 16:15:58 · 826 阅读 · 0 评论 -
GBase 8a 扩容操作意外的处理方案
GBase 8a 数据库扩容时,可能发生各种意外情况,本文针对扩容每个操作步骤进行分析,考虑发生的各种意外,以及人工处理方法。原创 2022-08-15 10:24:07 · 305 阅读 · 0 评论 -
GBase 8a MPP Cluster扩容操作详例
整个步骤,核心就是1、安装新的节点服务2、增加新的分布策略,以利用新的数据节点3、重分布数据4、删掉老的信息。原创 2022-08-15 10:21:49 · 219 阅读 · 0 评论 -
GBase 8a MPP Cluster-行分隔符和列分隔符
GBase 8a数据库集群,支持导出时指定行分隔符和列分隔符,如果数据中的字符和其冲突,可以考虑用多个字符做分隔符,当然也可以用不常见或冲突几率低的不可见字符做分隔符。原创 2022-08-12 13:58:06 · 941 阅读 · 0 评论 -
Gbase 8a MPP Cluster 存储过程参考
库相关联的存储过程p或函数f,用户可以使用CALLgbase.p()或gbase.f()。GBase8aMPPCluster允许在存储过程中使用标准的SELECT语句。GBase8aMPPCluster允许存储程序(过程和函数)包含DDL语句(比如。本章中所描述的所有语法。数)被调用时,隐含的USEdatabase_name被执行(当存储程序(过程和函。GBase8aMPPCluster支持函数(FUNCTION)的定义和使用。...原创 2022-07-25 14:14:06 · 132 阅读 · 0 评论 -
GBase 8a MPP Cluster V9 集群轻松应对多租户需求
其次,再看一下资源管理技术,上面介绍的虚拟集群技术是从企业级的架构层面对省分支机构资源的划分和管理,要真正实现多租户的需求,需要结合资源管理对逻辑子集群的物理资源进行更近一步的细化管理,各省分支机构在已获得的物理机器内,根据用户需求,对CPU、内存、存储空间、网络、优先级等资源划分成资源池,资源池再绑定用户,实现用户对物理资源的隔离和动态控制。各省分支机构一方面满足了总部统一管理的要求,另一方面对已拥有的资源具有灵活的分配和使用权限,使数据大集中带来的冲击能够平滑过渡。...原创 2022-07-25 13:49:20 · 98 阅读 · 0 评论 -
GBase 8a MPP Cluster 的资源管理
GBase8a集群资源管理由ConsumerGroup(资源消费组)、ResourcePool(资源池)、每个VC之间的资源管理功能相互独立,VC内部的资源池定义,消费组规划,出现任务间资源激烈争抢以及消耗过度等情况,在这样的场景下,SQL的执行会变。在没有资源管理的情况下,多用户多任务并发执行,资源消耗得不到有效调节,会。得缓慢并且不可预期,系统会因为资源使用过度而崩溃,因此需要对资源的使用进。资源计划状态(启动/关闭),以及消费组与资源池之间的关联关系都各不相同,...原创 2022-07-25 11:14:41 · 85 阅读 · 0 评论 -
GBase 8a MPP Cluster 安全管理之数据加密
GBase8a数据加密是提供对数据库落地数据的软加密功能,用来满足用户的安全需。数据加密按照seg文件中的DC为最小单位进行,可以实。GBase8a数据加密是提供对数据库落地数据的软加密功能,用来满足用户的安全需。数据加密按照seg文件中的DC为最小单位进行,可以实。支持密钥证书管理包括密钥证书的创建、打开、关闭、口令修改、密钥转换。支持密钥类型转换,即从明文密钥转换到密文密钥,或从密文密钥转换到明。密文密钥须用户输入口令,根据口令对随机生成的密钥加密存储;...原创 2022-07-25 11:08:58 · 118 阅读 · 0 评论 -
GBase 8a MPP Cluster V95 的安装和卸载详情(E01)
GBase 8a MPP Cluster V95 的安装和卸载详情一、集群节点环境设计IP角色oshostID172.16.9.173管理、数据、主节点RedHat7.3node173172.16.9.174管理、数据节点RedHat7.3node174172.16.9.175管理、数据节点RedHat7.3node175操作系统要求:redhat 7.x(或者centos 7.x)。安装系统时建议在“软件选择”中勾选“带GUI的服务器”中原创 2022-05-12 11:25:07 · 417 阅读 · 0 评论 -
GBase 8a MPP Cluster V95 实用集群管理常见命令汇总(E02)
E02 GBase 8a MPP Cluster V95 实用集群管理常见命令汇总一、集群服务管理① 查看集群状态[gbase@node173 ~]$ gcadminCLUSTER STATE: ACTIVEVIRTUAL CLUSTER MODE: NORMAL===============================================================| GBASE COORDINATOR CLUSTER INFORM原创 2022-05-11 14:52:48 · 144 阅读 · 0 评论 -
GBase 8a MPP Cluster V95 SQL 实用常见命令汇总(E03)
E03 GBase 8a MPP Cluster V95 SQL 实用常见命令汇总一、安全管理使用数据库超户root连接数据库后,创建数据库,创建新用户组和用户,并给新用户组和用户分配相关权限① 连接登录集群数据库(默认管理员为root,密码为空)gccli -u用户名 -p密码gccli -uroot -p② 给root用户设置密码,保障安全set password for root =password('Peixun_2021');③ 创建数据库create database if原创 2022-05-11 12:11:10 · 559 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(十 一)
虚拟集群1 虚拟集群 alter database create mirror 卡住问题描述虚拟集群 alter database asiainfo create mirror to vc2;这个命令执行多次,[alterdatabase asiainfo create mirror to vc2 卡住]也是其中一次,有些表,设置镜像没成功,但是主备 vc表已经都存在了。解决方案现场不创建镜像表的原因是:库下存在一些表没有镜像关系,但是镜像库下存在同名表。当前 alter .原创 2022-05-09 11:23:42 · 205 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(十)
节点替换1 节点替换的时候报错问题描述节点替换的时候报错:解决办法集群的节点被替换时,需要重新生成互信文件中的密钥,不然会报错。 如果是 root 用户需要 vi /root/.ssh/known_hosts 找到报错结点,删除密码,如果还是不行,需要重新执行集群安装包里面的 sh c3_conf.sh sshtrust_conf.sh; 如果是 gbase 用户需要 vi /home/gbase/.ssh/known_hosts 找到报错结点,删除密码。原创 2022-05-09 11:22:52 · 274 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(九)
扩容1 在线扩容过程中使用 swap 跑批性能下降问题现象项目现场在做 8611 在线扩容时,后台作业并发较高时,集群节点出现使用 swap现象,导致批量性能下降。原因分析经了解现场在后台进行日常业务作业情况下进行在线扩容,后台本身业务压力就比较大,加上在线扩容,总业务量超出了系统承受范围。解决方法当日现场调低并发压力,并将复制表改为分布表,重新进行在线扩容未见 swap问题出现。建议在线扩容控制后台业务压力,否则与扩容业务争抢资源严重,哪一个都跑不快。代码中原创 2022-05-09 11:21:55 · 260 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(八-下)
导入导出13 orato8a query 方式导出报错 ORA-02391连接数不足问题现象执行 orato8a 导出,报错 ORA-02391,连接数不够了。但 sqlplus 执行 sql不报错,怀疑 orato8a 在一次导出数据建立了多个 session连接。和研发确认,orato8a 会启动两个进程,一个里面有一个链接。解决方法DBA 增加用户连接数设置。14 orato8a 抽取包含 clob 字段表速度慢问题现象orato8a 抽取包含 c...原创 2022-05-09 11:20:59 · 582 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(八-上)
导入导出1 加载报错 Line length is more thangbase_loader_max_line_length问题现象加载报错:Line length 8388601 is more than gbase_loader_max_line_length(4194304)。原因分析gbase_loader_max_line_length 这个参数的意义是加载最大行宽的字节数。可以检查一下文件最大行宽是否超过了参数默认值,也可以将参数值调大一些。解决方法 可以在.原创 2022-05-09 11:18:56 · 305 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(七)
其他异常1 服务器发生 CPU 大量 sys 占用问题的原因问题现象数据库在运行过程中,因为某些原因出现大量的 CPU sys 占用,进而导致数据库性能问题。这类问题应该如何去排查?有哪些已知的原因可能导致这类问题的发生?解决方法通常 cpu 出现大量的 sys 占用是由于资源争抢导致的,如锁资源的争抢、内存的争抢。可用于监控、分析的工具有 perf、nmon 等。GBase8a 集群出现 sys 占用高的几个已知问题原因有: 操作系统的 NUMA 参数未关闭,在.原创 2022-05-07 19:42:56 · 696 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(六)
运行状态异常1 gcmmonit 启动报错问题现象现场人员多次启停 gcmmonit 报以下错误:解决方法确认后得知,gcmonit、gcmmonit 使用由 gcmonit启动创建的共享内存,共享内存是由 gcmonit 创建和销毁的,所以启动顺序为 gcmonit-> gcmmonit,关闭顺序最好为 gcmmonit-> gcmonit。经现场确认 gcmonit 确实没有启动。启动 gcmonit 之后,gcmmonit启动正常。2 sql ...原创 2022-05-07 19:37:50 · 215 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(五)
管理工具1 在集群中使用 hint 优化,没有效果问题现象在集群中使用 hint 优化,没有效果。解决方法在登录数据库时,需要加入-c 参数才能使优化起作用,gccli–uroot–c即可。2 gccli 采用重定向方式执行 sql 报语法错误问题现象gccli 采用重定向方式(gccli ......<*.sql)执行 sql 时,sql文件中某行被截断报语法错误。解决方法使用 source 方式,gccli-e"source*.sql"..原创 2022-05-07 19:36:24 · 992 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(四)
安装升级1安装完集群后使用 gcadmin 出现错误问题现象在 redhat6.2 系统的 2 台机器上安装集群,安装完成后无法执行 gcadmin,报错 Could not initialize instance error [100]->[GC_AIS_ERR_SECURITY].经检查 发现在 corosync.log 中有如下信息:corosync [IPC ] Invalid IPC credentials。解决方法查看是否存在:若没有添加上即可执行成原创 2022-05-07 12:52:29 · 430 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(三)
软硬件问题1 NUMA 参数 zone_reclaim_mode 开启导致数据库性能低问题现象NUMA 参数 zone_reclaim_mode 在设置为 1 时,内核将要求多路 CPU 尽量从距离较近的系统内存节点(服务器的整体内存在 numa 架构下将被分成若干个节点)分配内存而不是在整个服务器可访问内存的范围内进行内存分配,因此在较高内存占用压力下内存申请会触发内存频繁回收整理的机制严重影响了系统整体性能(长期处于内核态 sys 很高)。另外还会发生部分 SQL 夯原创 2022-05-07 12:45:38 · 243 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理(二)
数据库基础express 日志中报“Got error 28 from storage engine”错误问题现象express 日志中报“Got error 28 from storage engine”错误。处理方法说明临时空间满了,请配置临时空间的参数(缺省是/tmp 目录下)。...原创 2022-05-07 12:41:37 · 292 阅读 · 0 评论 -
Gbase 8a MPP Cluster维护中可能遇到的故障管理(一)
故障管理:日常维护过程中,业务出现故障时收集故障信息、处理故障的操作。下面归为几类,分别说明:一.操作系统问题二.数据库基础问题三.软硬件问题四.安装升级卸载问题五.管理工具问题六.运行状态异常七.其他异常八.导入导出问题九.扩容问题十.节点替换问题一 操作系统问题1.1 RHEL7 启动 cgroup 报错1.2 RHEL7 安装 rpm 后,service 命令启动报错 正常使用se...原创 2022-05-07 12:39:47 · 498 阅读 · 0 评论 -
Gbase 8a MPP Cluster 系统表和视图
GBase 8a MPP Cluster 中的系统表存在于四个 database 中,分别是 information_schema,gbase,gclusterdb 及 performance_schema。其中,information_schema 中的信息为元数据信息,这些信息是通过组织相关对象获得的,不是预先存储的信息;gbase 库存放的是一些持久化存储的信息,信息存储在 GsSYS 引擎的表中;gclusterdb 存储的是需要在集群范围保存的信息,使用的是 express 引擎;per原创 2022-05-07 12:36:55 · 726 阅读 · 0 评论 -
Gbase 8a MPP Cluster 存储过程参考(详细)
概述GBase 8a MPP Cluster 的存储过程仍在不断地完善中。本章中所描述的所有语法都被有效地支持,其局限性和扩展要求将被记录备案。存储过程定义存储过程是一组可以完成特定功能的 SQL 语句集,经编译后存储在数据库中。用户在执行存储过程时,需要指定存储过程的名称并给出参数(如果存储过程里包含参数)。应用场景在如下情况中,存储过程非常有用:当多个客户端应用程序是由不同的语言编写,或者运行在不同的平台,但需要执行同样的数据库操作时;当安全非常重要时原创 2022-05-07 12:35:14 · 1631 阅读 · 0 评论 -
集群性能优化之压缩和扩容策略
压缩策略大部分应用中性能的瓶颈是磁盘 IO,所以新型数据库的设计都以降低磁盘 IO 为主要设计目标,数据压缩可减少 I/O 的时间,提升性能,8a 也不例外,压缩也是提高性能的主要技术之一,8a 并行执行器已经能够从上层并行调度解压,因此使解压的适用性得到了很大的提升,很多场景下(尤其是针对超大数据量的场景),使用压缩数据的方式都可以获得比不压缩更好的性能。压缩方式:l 列级 int 型压缩方式选项:0,1,5l 列级 varchar 型压缩方式选项:0,3,5l 表级组原创 2022-05-07 12:31:26 · 126 阅读 · 0 评论 -
集群性能优化之负载均衡策略
GBase8a 集群产品,支持负载均衡策略。有三个层面的支持能力:1. 客户应用向集群建立连接阶段,自动选取当前负载最小的节点进行连接。2. 在数据分布策略上,支持均匀分布策略,使各节点数据量均匀。3. 在 SQL 执行分发策略上,将请求分解到各个主机上并行执行,使各个主机负载接近一致。...原创 2022-05-05 11:36:58 · 378 阅读 · 0 评论 -
集群性能优化之资源管理
资源管理GBase 8a MPP Cluster 集群所面临的集群规模、数据量、SQL 复杂度越来越大,虽然通过加强数据的合理分布、集群查询计划的合理调度、硬件资源的扩展等手段解决一部分资源(CPU、NET、MEMORY、DISK IO 等)瓶颈问题,但依然面临如下挑战:1. 系统资源不受控情况下,所有 SQL 执行都会抢占资源,这样会造成系统的不稳定;2. 系统资源被一条低优先级的 SQL 大量占用,导致高优先级 SQL 无法按时完成;3. 复杂 SQL 在集群中往往会分多原创 2022-05-05 11:28:17 · 443 阅读 · 0 评论 -
脱敏之投影列函数脱敏说明
脱敏规则函数按照不同的处理逻辑,脱敏规则的获取方式也不相同,大致可分为两类。1.控制流函数可以直接返回脱敏列,而非对脱敏列进行比较和计算,这时函数将使用脱敏列的脱敏规则应用到其他返回值。这类函数有 case when/decode、if、ifnull、nvl 和 coalesce函数。举例如下:其中 col 为非脱敏列。mask_col 为脱敏列,―123‖、―456‖、―789‖ 为常量。上面查询中 case when 函数可能的返回值为‘123‘、‘456‘、‘7...原创 2022-05-05 10:19:15 · 225 阅读 · 0 评论 -
GBase 8a MPP Cluster 架构介绍
GBase 8a MPP Cluster 采用 MPP + Shared Nothing 的分布式联邦架构,节点间通过TCP/IP 网络进行通信,每个节点采用本地磁盘来存储数据,支持对称部署和非对称部署。Shared Nothing(SN)是一种分布式计算架构。这这种架构中,每一个节点都是独立的,自给的,在系统中不存在单点竞争。更明确地说,没有节点共享存储和硬盘。MPP (Massively Parallel Processing),即大规模并行处理,简单来说,MPP是将任务并行的分散到多个服务器和原创 2022-04-29 10:53:49 · 595 阅读 · 0 评论 -
GBase 8a MPP Cluster 高危操作一览表
表:高危操作,描述了在 GBase8a MPP 操作与维护阶段,进行日常操作应注意的高危操作。表:高危操作原创 2022-04-29 10:27:30 · 159 阅读 · 0 评论 -
GBase 8a MPP Cluster 的资源管理
背景信息在没有资源管理的情况下,多用户多任务并发执行,资源消耗得不到有效调节,会出现任务间资源激烈争抢以及消耗过度等情况,在这样的场景下,SQL 的执行会变得缓慢并且不可预期,系统会因为资源使用过度而崩溃,因此需要对资源的使用进行管理调度,使得 SQL 任务能够高效快速的运行,系统能够更稳定。资源管理功能概述 GBase 8a MPP Cluster 资源管理功能可以对 CPU、内存和 IO 资源进行配置和管理。其中:1. CPU:实现对受原创 2022-04-29 10:23:06 · 112 阅读 · 0 评论 -
GBase 8a MPP Cluster 安全管理之数据加密
数据加密概述GBase 8a 数据加密是提供对数据库落地数据的软加密功能,用来满足用户的安全需求,提高系统的安全性。数据加密按照 seg 文件中的 DC 为最小单位进行,可以实现表级或者列级不同粒度的加密要求。数据库中所有加密数据都使用同一个密钥,系统启动时会自动读取已创建的密钥文件内容。数据使用密钥文件内容加解密后,密钥文件内容就不能再改变。下图是数据加密功能原理图:图:数据加密功能原理图数据加密概述GBase 8a 数据加密是提供对数据库落地.原创 2022-04-29 10:25:59 · 78 阅读 · 0 评论 -
GBase 8a MPP Cluster 安全管理之密码安全管理
密码安全管理为保证密码安全管理在整个集群环境的一致性,需要在各 coordinator 节点的配置文件 gbase_8a_gcluster.cnf 中和各 node 节点的配置文件 gbase_8a_gbase.cnf 中,对相同变量配置相同的值。密码强度控制用户可以配置密码复杂度和长度要求,在创建密码和修改密码时必须符合此强度要 求。密码复杂度受只读量 password_format_option 控制。密码长度受只读变量 password_min_length 控制。两个原创 2022-04-28 16:28:24 · 208 阅读 · 0 评论 -
集群扩容和缩容操作流程
扩容的操作流程操作步骤: 在对某个 VC 进行扩容时,如果集群中存在 freenode,可使用 addnodes 命令将 freenode 节点添加到要扩容的 VC 中,然后再创建 distribution 执行上图扩容的后续操作。 创建第二个 distribution 并生成 hashmap 请参考“创建 distribution 和 hashmap”小节。 本流程利用 gcluster_rebalancing_concurrent_count 参数先阻止 rebalanc.原创 2022-04-27 17:58:48 · 2036 阅读 · 0 评论 -
GBase 8a MPP Cluster V9 集群轻松应对多租户需求
在企业信息化建设的发展过程中,当前数据量的增长已经达到了前所未有的速度。“数据大集中”的发展趋势已在金融、电信、能源等行业获得了广泛的认同,一些大型企业已经投入到数据中心的建设中,这些企业用户对大数据平台或数据仓库要求能支撑多租户需求,满足各省分支机构按需提供资源的需求,GBase 8a MPP Cluster V9版本集群通过虚拟集群技术和资源管理技术完美实现了这些需求。首先,来了解一下GBase 8a MPP Cluster V9 虚拟集群技术,虚拟集群是一种资源隔离手段,逻辑子集群可以独立规划部署原创 2022-04-27 17:23:03 · 101 阅读 · 0 评论