南大通用数据库-Gbase-8a-学习-09-集群节点替换

已于 2024-05-13 14:53:04 修改
阅读量694 收藏
点赞数 2
分类专栏： # Gbase-8a-学习 文章标签： 数据库 学习 dba database 运维
于 2022-08-14 12:48:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45111959/article/details/126307582
版权

一、测试环境

名称值
cpuIntel® Core™ i5-1035G1 CPU @ 1.00GHz
操作系统CentOS Linux release 7.9.2009 (Core)
内存4G
逻辑核数3
原有节点1-IP192.168.142.10
替换节点2-IP192.168.142.11
数据库版本8.6.2.43-R33.132743

二、模拟场景

192.168.142.11节点由于磁盘损坏，我们需要做集群节点替换，先将操作步骤的1、2、3做好，也就是做到将节点变为不可用和删除event，等用户修改磁盘，我们开始跑替换脚本。

生产环境节点替换，建议停止业务对数据库进行操作。

三、操作步骤

1、查看集群状态

[root@localhost gcinstall]# gcadmin
CLUSTER STATE:  ACTIVE
CLUSTER MODE:   NORMAL

=====================================================================
|               GBASE COORDINATOR CLUSTER INFORMATION               |
=====================================================================
|   NodeName   |       IpAddress       |gcware |gcluster |DataState |
---------------------------------------------------------------------
| coordinator1 |    192.168.142.10     | OPEN  |  OPEN   |    0     |
---------------------------------------------------------------------
=================================================================
|                GBASE DATA CLUSTER INFORMATION                 |
=================================================================
|NodeName |       IpAddress       |gnode |syncserver |DataState |
-----------------------------------------------------------------
|  node1  |    192.168.142.10     | OPEN |   OPEN    |    0     |
-----------------------------------------------------------------
|  node2  |    192.168.142.11     | OPEN |   OPEN    |    0     |
-----------------------------------------------------------------
[root@localhost gcinstall]# gcadmin showdistribution

              Distribution ID: 5 | State: new | Total segment num: 2

     Primary Segment Node IP                           Segment ID         Duplicate Segment node IP
========================================================================================================================
|    192.168.142.11                              |       1          |    192.168.142.10                                |
------------------------------------------------------------------------------------------------------------------------
|    192.168.142.10                              |       2          |    192.168.142.11                                |
========================================================================================================================

2、将节点变为不可用

语法介绍：

gcadmin setnodestate IP [failure| unavailable |normal]
名称描述
normal正常
failure故障，记录后续event。如果服务器能恢复，可以设置回normal，集群会自动同步；如确认节点数据丢失，可以再设置为不可用状态。
unavaliable不可用状态，节点已经明确判断不可恢复，数据肯定丢失，此时集群不再记录event，后续请通过【节点替换】功能修复。 如确认肯定没有ddl，dml等会导致event的操作发生，也可强制改成normal。
[gbase@localhost gcinstall]$ gcadmin setnodestate 192.168.142.11 unavailable
load gbase client dll start ......
load gbase client dll end ......

after set node state into unavailable,can not set the state into normal,
must run gcadmin replacenodes to replace this node ,after that command node state can return into normal.
you realy want to set node state into unavailable(yes or no)?
yes
get node data state by ddl fevent log start ......
get node data state by ddl fevent log end ......
get node data state by dml fevent log start ......
get node data state by dml fevent log end ......
get node data state by dml storage fevent log start ......
get node data state by dml storage fevent log end ......

check data server node data state by fevent log start ......
check data server node data state by fevent log end ......

3、查看集群状态

192.168.142.11节点已经变为：UNAVAILABLE 状态。

[gbase@localhost gcinstall]$ gcadmin
CLUSTER STATE:  ACTIVE
CLUSTER MODE:   NORMAL

=====================================================================
|               GBASE COORDINATOR CLUSTER INFORMATION               |
=====================================================================
|   NodeName   |       IpAddress       |gcware |gcluster |DataState |
---------------------------------------------------------------------
| coordinator1 |    192.168.142.10     | OPEN  |  OPEN   |    0     |
---------------------------------------------------------------------
========================================================================
|                    GBASE DATA CLUSTER INFORMATION                    |
========================================================================
|NodeName |       IpAddress       |    gnode    |syncserver |DataState |
------------------------------------------------------------------------
|  node1  |    192.168.142.10     |    OPEN     |   OPEN    |    0     |
------------------------------------------------------------------------
|  node2  |    192.168.142.11     | UNAVAILABLE |           |          |
------------------------------------------------------------------------

4、清理故障节点event

[gbase@localhost gcinstall]$ gcadmin rmdmlstorageevent 2 192.168.142.11

[gbase@localhost gcinstall]$ gcadmin rmddlevent 2 192.168.142.11

[gbase@localhost gcinstall]$ gcadmin rmdmlevent 2 192.168.142.11

语法：

gcadmin rmdmlevent type [eventid | tablename | nodeip | tablename nodeip]

gcadmin rmddlevent type [eventid | tablename | nodeip | tablename nodeip]

gcadmin rmdmlstorageevent type [eventid | tablename | nodeip | tablename nodeip]
值描述
0eventid 按照具体的事件编号清理
1tablename 清理指定表名字的所有事件
2nodeip 清理指定IP上的所有事件
3tablename nodeip 清理指定表名字，指定IP上的所有事件

5、模拟现场更换磁盘

192.168.142.11停服务，查看进程是否存在。

[root@localhost opt]# service gcware stop

[root@localhost opt]# ps -ef|grep gbase
root       8271   3575  0 12:32 pts/0    00:00:00 grep --color=auto gbase

这一步生产环境不用做。
192.168.142.11删除相关文件。

[root@localhost opt]# rm -rf gcluster/

[root@localhost opt]# rm -rf gnode/

6、执行替换

注意点：替换操作会检查集群ddl锁，如果有ddl语句在运行，将等待其完成，如果确认其可以清理，可以kill掉，以便加快节点替换进度。

[gbase@localhost gcinstall]$ ./replace.py --host=192.168.142.11 --rootPwd=qwer1234 --dbaUser=gbase --dbaUserPwd=gbase --sync_coordi_metadata_timeout=1500 --overwrite
check os password ...
check os password successful
check database password ...
check database password successful
192.168.142.11
Are you sure to replace install these nodes ([Y,y]/[N,n])? y
Starting all gcluster nodes...
get table id and set dmlstorageevent on node [::ffff:192.168.142.10], please wait a moment
load gbase client dll start ......
load gbase client dll end ......

check node data map and cluster state start ......
check node data map and cluster state end ......

get distribution information start ......
get distribution information end ......

check ip start ......
check ip end ......

switch cluster mode into READONLY start ......
wait all ddl statement stop ......

all ddl statement stoped
switch cluster mode into READONLY end ......

delete all fevent log on replace nodes start ......
delete ddl event log on node 192.168.142.11 start
delete ddl event log on node 192.168.142.11 end
delete dml event log on node 192.168.142.11 start
delete dml event log on node 192.168.142.11 end
delete dml storage event log on node 192.168.142.11 start
delete dml storage event log on node 192.168.142.11 end
delete all fevent log on replace nodes end ......

sync metedata start ......
sync coordinator metedata start ......
sync coordinator metedata end,spend time 0 ms ......
sync data server metedata start ......
copy script to data node begin
copy script to data node end
build data packet begin
build data packet end
copy data packet to target node begin
copy data packet to target node end
extract data packet begin
extract data packet end
sync dataserver metedata end,spend time 20169 ms ......
sync metedata end ......

set sync data flag start ......
create database start ......
create database end ......

create database and set table dml storage event spend time 6191 ms ......
set sync data flag end ......

restore cluster mode start ......
restore cluster mode end ......

restore node state start ......
restore node state end ......

all nodes replace success end
replace nodes spend time: 89500 ms
Replace gcluster nodes successfully.

替换的相关日志查看

[root@localhost gcinstall]# tail -f replace.log 
restore cluster mode end ......

restore node state start ......
restore node state end ......

all nodes replace success end
replace nodes spend time: 89500 ms
2022-08-14 12:35:37,566-root-INFO gcadmin replacenodes ended.
2022-08-14 12:35:37,567-root-DEBUG kill gclusterd or gbased to started for udf(or other) in replace.
2022-08-14 12:35:39,546-root-INFO success to kill gclusterd or gbased on 192.168.142.11

7、查看集群状态

[root@localhost gcinstall]# gcadmin
CLUSTER STATE:  ACTIVE
CLUSTER MODE:   NORMAL

=====================================================================
|               GBASE COORDINATOR CLUSTER INFORMATION               |
=====================================================================
|   NodeName   |       IpAddress       |gcware |gcluster |DataState |
---------------------------------------------------------------------
| coordinator1 |    192.168.142.10     | OPEN  |  OPEN   |    0     |
---------------------------------------------------------------------
=================================================================
|                GBASE DATA CLUSTER INFORMATION                 |
=================================================================
|NodeName |       IpAddress       |gnode |syncserver |DataState |
-----------------------------------------------------------------
|  node1  |    192.168.142.10     | OPEN |   OPEN    |    0     |
-----------------------------------------------------------------
|  node2  |    192.168.142.11     | OPEN |   OPEN    |    0     |
-----------------------------------------------------------------

我这边集群中没有什么数据量，所以集群状态很快恢复正常。
实际中可能为：
（1）节点会有一段时间处于readonly状态，故障节点为REPLACE状态。
（2）集群恢复，故障节点为OFFLINE状态。
（3）节点上线，设置同步状态。

注意点：
集群替换后记得查看dml、ddl事件是否在稳步下降。

[root@localhost gcinstall]# gcadmin showddlevent
Event count:0
[root@localhost gcinstall]# gcadmin showdmlevent
Event count:0
[root@xdw0 ~]# gcadmin showdmlstorageevent
Event count:0
阳光九叶草LXGZXJ
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
南大通用GBase 8a集群管理培训资料
09-18
1-GBase 8a MPP Cluster 产品介绍.pdf 2-GBase 8a MPP Cluster 安装部署.pdf 3-GBase 8a MPP Cluster 日常... 8-GBase 8a MPP Cluster 集群管理-节点替换.pdf GBase 8a MPP Cluster 日常维护数据迁移sql操作练习.pdf
南大通用 GBase 8a学习文档
05-03
GBase 8a是南大通用数据系统有限公司推出的一款高性能、高可用性的分布式列式数据库管理系统，广泛应用于大数据处理、数据分析和在线分析处理（OLAP）场景。本学习文档将深入探讨GBase 8a的核心特性、安装配置、SQL...
GBASE南大通用数据库分享:mysql中的load data infile用法
weixin_47390342的博客
02-29 927
当 你与LOAD DATA INFILE一起使用SELECT ... INTO OUTFILE将一个数据库的数据写进一个文件并且随后马上将文件读回数 据库时，两个命令的字段和处理选项必须匹配，否则，LOAD DATA INFILE将不能正确解释文件的内容。见下面关于NULL处理的规则。如果FIELDS ENCLOSED BY不是空的，包含以文字词的NULL作为它的值的字段作为一个NULL值被读入(这不同于包围在FIELDS ENCLOSED BY字符中的字NULL，它作为字符串'NULL'读入)。
猿创征文 | 国产数据库之南大通用数据库详解安装和使用
LQ的博客
10-13 6625
南大通用数据库详解安装和使用
为大模型添加记忆体，GBASE南大通用驶入向量赛道
数据猿
09-04 226
大数据产业创新服务媒体——聚焦数据· 改变商业理解、生成、逻辑、记忆是人工智能的四大核心能力。一段人类的日常对话通常可以分解为引子、记忆、分析三个部分。计算机自然语言处理的解法，AI科学家归纳出一个CPV结构：以ChatGPT为代表的大模型承担“分析”，Vector Database（向量数据库）承担“记忆”，Prompt（提示词）承担“引子”。向量数据库，正是计算机记忆体一般的存在。AI 2....
GBASE南大通用数据库分享：多实例 NUMA 绑定
weixin_47390342的博客
02-28 414
注意，在 NUMA 绑定时需要绑定进程的全路径，如绑定 gbased 进程，则将其全路 径 /opt/<IP>/gnode/server/bin/gbased 配 置 到 对 应 的 /opt/<IP>/gnode/server/bin/gcluster_services 文件中，<IP>替换为真实 IP 地址。 绑定步骤 NUMA 绑定需修改 gcluster_services 脚本两处后，使用该 gcluster_services 脚本重启 集群服务。
GBase南大通用-GBase 8a资源管理功能试用
pikaysw的博客
02-27 436
测试了GBase 8a资源管理功能的参数逻辑和内存检测
南大通用数据库-Gbase-8a-学习-33-空洞率查询与解决方法
qq_45111959的博客
04-03 904
介绍gbase8a数据库如何检测空洞率，如何解决空洞率的问题，方法有： 1、重建表。 2、shrink space。 3、EasyClean。
GBase 8a MPP Cluster产品手册-V953
最新发布
06-03
GBase 8a是由南大通用数据技术股份有限公司开发的高性能数据库管理系统，特别适用于海量数据处理、分析和决策支持。在V953版本中，它提供了更强大的功能和优化的性能。 GBase 8a MPP Cluster的核心概念是分布式并行...
GBase-8a-MPP-Cluster-SQL-Parser:使用ANTLR v4的GBase 8a MPP群集SQL解析器
05-04
GBase 8a是南大通用数据库公司推出的一款分布式数据库管理系统，尤其适合大数据处理和分析工作负载。MPP（Massively Parallel Processing）集群架构使得GBase 8a能够在多台服务器上并行处理数据，从而显著提升查询...
最新全国高校数据库信息（包含2854所高校）
11-06
2017最新全国高校数据库信息（包含2854所高校）.由于是本人花了很久的时间搞来的劳动成果，再此献给大家。 此文档是Excel格式。包含： 院校名称 所在省份 所在地区 所在城市 是否211 是否985 院校举办 (公办/民办) 院校类型 院校隶属 办学类型
南大通用Gbase-jdbc-drvier驱动
10-31
南大通用Gbase-jdbc-drvier驱动，亲测可用的驱动，资源不容易找到的
GBase 8a MPP Cluster 南大通用数据仓库NoLicense版
03-06
集群并发数为10（集群最大任务数ddl、dml、Query合计的最大并发数小于10） 平台：arm+centos8 2 功能限制 不支持全文检索功能 不支持GBMLLib插件，即数据挖掘和机器学习扩展库 不支持GBFS文件服务器
GBase 8a MPP Cluster 南大通用数据仓库NoLicense版本
03-06
集群并发数为10（集群最大任务数ddl、dml、Query合计的最大并发数小于10） 平台：x86+centos8 2 功能限制 不支持全文检索功能 不支持GBMLLib插件，即数据挖掘和机器学习扩展库 不支持GBFS文件服务器
GBase 8a MPP数据库技术手册
08-05
GBase 8a MPP Cluster是一款由南大通用数据技术股份有限公司开发的高性能、高可用性的分布式数据库系统，它在大数据处理和分析领域具有广泛的应用。本文将深入探讨GBase 8a MPP Cluster的核心特性和关键技术。 1. *...
南大通用数据库-Gbase-8a-MPP-Cluster修改集群IP-05
m0_61155172的博客
01-22 501
需要修改的配置文件;一、将集群状态停止(所有节点执行)二、修改corosync.conf配置文件(需要更换ip的节点)(1)重点:修改执行前先备份一下要修改的配置文件以免出现问题还可以回退(2)将原有的ip192.168.146.128更换为192.168.146.129,192.168.146.130更换为192.168.146.131totem {version: 2member {member {ttl: 1join: 1500logging {debug: off。
南大通用数据库-Gbase-8a-学习-25-常用系统表查询语句
qq_45111959的博客
10-21 2085
SQL语句包含： 1、查询集群中包含的数据库 2、查询VC虚拟集群 3、查询集群中的表和视图 4、查询列信息 5、查询存储过程以及函数 6、查询索引信息 7、查看集群目录的磁盘占用情况** 8、查看数据库用户 9、查看数据库用户组和用户关系对照表 10、查看表的分布类型 11、查看数据分布是否倾斜** 12、查看表的总条数** 13、查看数据库参数** 14、查看数据分布在哪个分片中** 15、查看集群中在进行的SQL** 16、支持的HINT的参数
南大通用数据库-Gbase-8a-学习-03-存储过程及函数之游标、WHILE、REPEAT
qq_45111959的博客
07-13 1725
将表czg的数据查询出来再插入到tmp表中。存储过程定义（REPEAT循环）： 存储过程定义（WHILE循环）： （2）测试步骤 生成czg表测试数据请查看之前的链接：《南大通用数据库-Gbase-8a-学习-01-存储过程及函数之IF、LOOP、LEAVE、SET》 二、涉及的语法 （1）REPEAT 语法格式： 语法解释： 类似于C语言的do…while语法，先把中间的具体逻辑执行一遍，再判断是否进入循环，但UNTIL后面跟的是退出条件，而不是循环条件，这一点要注意哦。语法格式： 语法解释： 类似于C语
GBase 8a mpp 在线节点替换功能
houwenqiang7的博客
11-30 916
随着MPP数据库规模的增加，节点数量越来越大，节点机器出现问题成为常态。对于节点机器的替换也成为MPP数据库必须处理的一个问题。 GBase 8a提供了简单的脚本命令来进行节点替换操作。在节点替换过程中不需要停止服务，不影响用户查询业务执行。替换过程不需要用户干预， ...
10gbase-kr-fec-tutorial-ieee-802.pdf
07-08
10gbase-kr-fec-tutorial-ieee-802.pdf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值