gbase8s数据表级别的同步（部分数据的下发等功能）一

最新推荐文章于 2024-07-26 14:20:58 发布
最新推荐文章于 2024-07-26 14:20:58 发布
阅读量524 收藏 5
点赞数 12
分类专栏： gbase8s安装部署类 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_59083851/article/details/137234451
版权

一、ER的部署

（一）环境检查

1.操作系统环境检查

  • 虚拟机是centos进行虚拟出来的测试机
[root@node01 install]# uname -a
Linux node01 3.10.0-1160.71.1.el7.x86_64 #1 SMP Tue Jun 28 15:37:28 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux

2.数据库部署信息检查

服务器名称服务器IP数据库实例名称数据库版本数据库安装路径
node01192.168.6.6node13.5.1/home/gbasedbt/gbase
node02192.168.6.7node23.5.1/home/gbasedbt/gbase
  • 本次是按照官网上最新的数据库版本3.5.1进行测试部署搭建的
  • 数据库是安装192.168.6.6和192.168.6.7上，软件已安装，且实例都已经初始化，实例名称为node1和node2
--192.168.6.6上检查数据库状态
[gbasedbt@node01 ~]$ onstat -g dis
Your evaluation license will expire on 2025-04-01 00:00:00
On-Line -- Up 00:05:34 -- 1650580 Kbytes
There are 1 servers found
Server        : node1
Server Number : 127
Server Type   : IDS
Server Status : Up
Server Version: GBase Database Server Version 12.10.FC4G1TL
Shared Memory : 0x44000000
GBASEDBTDIR   : /home/gbasedbt/gbase
ONCONFIG      : /home/gbasedbt/gbase/etc/onconfig.node1
SQLHOSTS      : /home/gbasedbt/gbase/etc/sqlhosts.node1
Host          : node01

--192.168.6.7上检查数据库状态
[gbasedbt@node02 ~]$ onstat -g dis
Your evaluation license will expire on 2025-04-01 00:00:00
On-Line -- Up 00:05:42 -- 1650580 Kbytes
There are 1 servers found
Server        : node2
Server Number : 227
Server Type   : IDS
Server Status : Up
Server Version: GBase Database Server Version 12.10.FC4G1TL
Shared Memory : 0x44000000
GBASEDBTDIR   : /home/gbasedbt/gbase
ONCONFIG      : /home/gbasedbt/gbase/etc/onconfig.node2
SQLHOSTS      : /home/gbasedbt/gbase/etc/sqlhosts.node2
Host          : node02

（二）环境调整

1.调整时间同步设置

  • 192.168.6.6
--设置当前服务器的时区为上海时间
cp /etc/localtime /etc/localtmebak
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
--把当前时间写入到系统中 
clock -w 
--将系统时间设置为硬件时间，通常在手动更改系统时间后执行 
hwclock --systohc
--同意同网段的服务器进行同步时间
echo -e "restrict 20.5.193.0 mask 255.255.255.0" >>/etc/ntp.conf
--重启一下ntpd服务
systemctl restart ntpd
  • 192.168.6.7
--设置当前系统时间的时区为上海时间
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
 --设置将要与192.168.6.6的服务器进行时间同步
echo -e "server 20.5.193.95" >>/etc/ntp.conf
--设置定时任务美妙都进行时间更新同步
crontab -e
--输入以下内容
*/1 * * * * /usr/sbin/ntpdate 192.168.6.6>>/tmp/up.log

2.数据库互信

--服务器192.168.6.6上 
--使用root用户执行以下命令 
echo '+ +' >>/etc/hosts.equiv 
echo '192.168.6.7' >>/etc/hosts.equiv 
echo '192.168.6.6 root' >>/root/.rhosts
echo '192.168.6.7 root' >>/root/.rhosts
echo '192.168.6.6 gbasedbt' >>/root/.rhosts 
echo '192.168.6.7 gbasedbt' >>/root/.rhosts 
--gbasedbt用户 
echo '192.168.6.6 gbasedbt' >>/home/gbasedbt/.rhosts 
echo '192.168.6.7 gbasedbt' >>/home/gbasedbt/.rhosts

--服务器192.168.6.7上
--使用root用户执行以下命令
echo '+ +' >>/etc/hosts.equiv
echo '192.168.6.6' >>/etc/hosts.equiv
echo '192.168.6.6 root' >>/root/.rhosts
echo '192.168.6.7 root' >>/root/.rhosts
echo '192.168.6.6 gbasedbt' >>/root/.rhosts
echo '192.168.6.7 gbasedbt' >>/root/.rhosts
--gbasedbt用户
echo '192.168.6.6 gbasedbt' >>/home/gbasedbt/.rhosts 
echo '192.168.6.7 gbasedbt' >>/home/gbasedbt/.rhosts

3.数据库sqlhosts文件

ER的数据复制是通过组的形式进行同步的，故sqlhosts文件内应该配置为组的格式

--192.168.6.6
--原格式如下
[gbasedbt@node01 ~]$ cat gbase/etc/sqlhosts.node1
node1 onsoctcp 192.168.6.6 9088 
--调整成格式如下
[gbasedbt@node01 ~]$ cat gbase/etc/sqlhosts.node1
er_1 group -      -    i=1
node1 onsoctcp 192.168.6.6 9088 g=er_1
er_2 group -      -    i=2
node2 onsoctcp 192.168.6.7 9088 g=er_2


--192.168.6.7
--原格式如下
[gbasedbt@node01 ~]$ cat gbase/etc/sqlhosts.node2
node2 onsoctcp 192.168.6.7 9088
--调整格式如下
[gbasedbt@node02 ~]$ cat gbase/etc/sqlhosts.node2
er_2 group -      -    i=2
node2 onsoctcp 192.168.6.7 9088 g=er_2
er_1 group -      -    i=1
node1 onsoctcp 192.168.6.6 9088 g=er_1

4.添加智能大对象空间和ER使用的数据空间

数据库为了模拟脱机行技术，需要创建一个特定的智能大对象空间来存储需要同步的行数据，其是通过参数
CDR_QDATA_SBSPACE进行指定，除此之外还可以指定一个特定的数据空间用来存储syscdr的系统库和事务记录，使用CDR_DBSPACE指定

--192.168.6.6执行
--创建特定的智能大对象空间
[gbasedbt@node01 node1_dbs]$ touch /home/gbasedbt/gbase/node1_dbs/csdr_sbspace1
[gbasedbt@node01 node1_dbs]$ chmod 660 /home/gbasedbt/gbase/node1_dbs/csdr_sbspace1
[gbasedbt@node01 node1_dbs]$ onspaces -c -S csdr_sbdbs -p /home/gbasedbt/gbase/node1_dbs/csdr_sbspace1 -o 0 -s 300000
Your evaluation license will expire on 2025-04-01 00:00:00
Verifying physical disk space, please wait ...
Space successfully added.

** WARNING **  A level 0 archive of Root DBSpace will need to be done.

[gbasedbt@node01 node1_dbs]$ touch /home/gbasedbt/gbase/node1_dbs/csdr_datadbs1
[gbasedbt@node01 node1_dbs]$ chmod 660 /home/gbasedbt/gbase/node1_dbs/csdr_datadbs1
[gbasedbt@node01 node1_dbs]$ onspaces -c -d csdr_datadbs -p /home/gbasedbt/gbase/node1_dbs/csdr_datadbs1 -o 0 -s 300000 -k 16
Your evaluation license will expire on 2025-04-01 00:00:00
Verifying physical disk space, please wait ...
Space successfully added.

** WARNING **  A level 0 archive of Root DBSpace will need to be done.


--192.168.6.7上执行
[gbasedbt@node02 ~]$ touch /home/gbasedbt/gbase/node2_dbs/csdr_sbspace1
[gbasedbt@node02 ~]$ touch /home/gbasedbt/gbase/node2_dbs/csdr_datadbs1
[gbasedbt@node02 ~]$ chmod 660 /home/gbasedbt/gbase/node2_dbs/csdr*
[gbasedbt@node02 ~]$ onspaces -c -S csdr_sbdbs -p /home/gbasedbt/gbase/node2_dbs/csdr_sbspace1 -o 0 -s 300000
Your evaluation license will expire on 2025-04-01 00:00:00
Verifying physical disk space, please wait ...
Space successfully added.

** WARNING **  A level 0 archive of Root DBSpace will need to be done.
[gbasedbt@node02 ~]$ onspaces -c -d csdr_datadbs -p /home/gbasedbt/gbase/node2_dbs/csdr_datadbs1 -o 0 -s 300000 -k 16
Your evaluation license will expire on 2025-04-01 00:00:00
Verifying physical disk space, please wait ...
Space successfully added.

** WARNING **  A level 0 archive of Root DBSpace will need to be done.
  • 修改参数将上述创建的数据空间进行应用和使用
--192.168.6.6上执行修改参数
[gbasedbt@node01 node1_dbs]$ sed -i 's/^CDR_QDATA_SBSPACE.*/CDR_QDATA_SBSPACE    csdr_sbdbs/g' /home/gbasedbt/gbase/etc/onconfig.node1
[gbasedbt@node01 node1_dbs]$ sed -i 's/^CDR_DBSPACE.*/CDR_DBSPACE    csdr_datadbs/g' /home/gbasedbt/gbase/etc/onconfig.node1

--192.168.6.7上执行修改参数
[gbasedbt@node02 ~]$ sed -i 's/^CDR_QDATA_SBSPACE.*/CDR_QDATA_SBSPACE    csdr_sbdbs/g' /home/gbasedbt/gbase/etc/onconfig.node2
[gbasedbt@node02 ~]$ sed -i 's/^CDR_DBSPACE.*/CDR_DBSPACE    csdr_datadbs/g' /home/gbasedbt/gbase/etc/onconfig.node2
  • 修改后参数进行重启
--192.168.6.6上重启数据库（重启需要gbasedbt用户下），mode=5是重启成功
[gbasedbt@node01 node1_dbs]$ onmode -ky
Your evaluation license will expire on 2025-04-01 00:00:00
[gbasedbt@node01 node1_dbs]$ oninit -vy
Your evaluation license will expire on 2025-04-01 00:00:00
Reading configuration file '/home/gbasedbt/gbase/etc/onconfig.node1'...succeeded
Creating /GBASEDBTTMP/.infxdirs...succeeded
。。。
。。。
Starting scheduling system...succeeded
Verbose output complete: mode = 5

--192.168.6.7上重启数据库（重启需要gbasedbt用户下），mode=5是重启成功
[gbasedbt@node02 ~]$ onmode -ky
Your evaluation license will expire on 2025-04-01 00:00:00
[gbasedbt@node02 ~]$ oninit -vy
Your evaluation license will expire on 2025-04-01 00:00:00
Reading configuration file '/home/gbasedbt/gbase/etc/onconfig.node2'...succeeded
Creating /GBASEDBTTMP/.infxdirs...succeeded
Allocating and attaching to shared memory...succeeded
Creating resident pool 63034 kbytes...succeeded
。。。
。。。
Starting scheduling system...succeeded
Verbose output complete: mode = 5

5.创建日志和数据文件夹

针对ER数据同步，需要两个文件夹存储信息，一个是存储事务中止的报错信息日志的文件夹ATS（
Aborted Transaction Spool），一个是存储临时的中间数据集用来同步RIS（
Row Information Spool），本次分别在两个备机上创建

--192.168.6.6上创建，使用gbasedbt用户
[gbasedbt@node01 ~]$ mkdir /home/gbasedbt/gbase/ATS
[gbasedbt@node01 ~]$ mkdir /home/gbasedbt/gbase/RIS
--192.168.6.7上创建，使用gbasedbt用户
[gbasedbt@node02 ~]$ mkdir /home/gbasedbt/gbase/ATS
[gbasedbt@node02 ~]$ mkdir /home/gbasedbt/gbase/RIS

（三）配置ER同步

1.配置ER

--192.168.6.6上执行，-I指定的是sqlhosts的定义的第一个组，-A指定的是事务中断日志，-R指定的数据中转文件夹
cdr define server  -I er_1 -A /home/gbasedbt/gbase/ATS/ -R /home/gbasedbt/gbase/RIS/

--192.168.6.7上执行，-S是指定的同步的服务器组
cdr define server -I er_2 -S er_1 -A /home/gbasedbt/gbase/ATS/ -R /home/gbasedbt/gbase/RIS/

2.定义表级别的同步

--192.168.6.6创建带日志的库和测试表,表必须有主键否则会失败
[gbasedbt@node01 ~]$ dbaccess - -
Your evaluation license will expire on 2025-04-01 00:00:00
> create database test with log;

Database created.

> create table test(id int,name varchar);

Table created.
>alter table test add constraint primary key(id) constraint test_pkid;

--192.168.6.7创建带日志的库和测试表，表必须要有主键
[gbasedbt@node02 ~]$ dbaccess - -
Your evaluation license will expire on 2025-04-01 00:00:00
> create database test with log;

Database created.

> create table test(id int,name varchar);

Table created.
>alter table test add constraint primary key(id) constraint test_pkid;
  • 添加表级别复制
--192.168.6.6上执行，-C定义复制的名称，"库名@sqlhosts的组名:属主.表名" "select * from 表名"
[gbasedbt@node01 ~]$ cdr define replicate -C ignore test_test  "test@er_1:gbasedbt.test" "select * from test" "test@er_2:gbasedbt.test" "select * from test"
Interpreting this replicate as a master replicate.
Verification of test@er_1:gbasedbt.test started
Verification of test@er_1:gbasedbt.test is successful
Verification of test@er_2:gbasedbt.test started
Table 'test@er_2.test' does not contain primary key.
  • 启动实时复制
--192.168.6.6上
[gbasedbt@node01 ~]$ cdr start repl test_test
[gbasedbt@node01 ~]$

（四）测试同步

1.测试数据插入和删除

--192.168.6.6插入数据
[gbasedbt@node01 ~]$ dbaccess test -
Your evaluation license will expire on 2025-04-01 00:00:00
Database selected.
> insert into test values(1,'a');
1 row(s) inserted.
--192.168.6.7上查看
[gbasedbt@node02 ~]$ dbaccess test -
Your evaluation license will expire on 2025-04-01 00:00:00
Database selected.
> select * from test;
         id name
          1 a
1 row(s) retrieved.

--192.168.6.6上删除数据
> delete test;

1 row(s) deleted.
--192.168.6.7上查看
> select * from test;


         id name


No rows found.


--192.168.6.7上插入数据
[gbasedbt@node02 ~]$ dbaccess test -
Your evaluation license will expire on 2025-04-01 00:00:00

Database selected.

> insert into test values(1,'a');

1 row(s) inserted.

>
--192.168.6.6上插入数据
[gbasedbt@node01 ~]$ dbaccess test -
Your evaluation license will expire on 2025-04-01 00:00:00
selec
Database selected.
> select * from test;


         id name

          1 a

1 row(s) retrieved.

>
lve .
关注
  • 12
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mysql gbase8a_datax从gbase8a同步上亿大表到mysql5.7中
weixin_39761481的博客
02-06 564
背景需要从gbase8a同步一些大表到mysql5.7数据库中，gbase8a中的大表基本上是没有有效的时间戳标识，直接通过datax抽取时，会报gc错误，除非设置同步使用的内存大于表的大小，这个在生产环境是不太现实的，目前想到的方式有两种，一是通过limit进行分页，二是通过rowid切片(这里得给gbase8a点个赞，好的设计，解决了后面基于rowid增量同步的问题)系统环境：[root@te...
GBase 8s 数据库管理工具之实例级备份与恢复
qq_39280087的博客
08-23 936
一、背景 GBase 8s数据库管理工具GBase Data Studio 以图形化界面对数据库进行日常操作、处理。安装简便，使用方便。 实例（Instance）是指操作系统中一系列进程以及为这些进程所分配的内存块。实例是“内存”与“后台进程”的集合。 以下内容将介绍GBase 8s实例级的备份与恢复操作过程。 二、备份 1、打开GBase 8s连接 在数据库导航栏，打开需要备份的GBase 8s数据库连接，选择备份/恢复，然后选择实例级，如下图所示： 2、查看历史备份信息 双击实例级，或通过右键实例级，
Zabbix监控部署
GNAIXGNAHZ的博客
12-20 1423
zabbix监控
IDEA自带的数据库连接工具连接(GBase 8s)南大通用安全数据库管理系统
qq_42390993的博客
03-28 1728
GBase 8s工具（GBase Data Studio）用起来怪怪的，而且打开某张表查看数据，或者操作数据，等待时间很久，总觉得不方便。于是就想试试用IDEA自带的数据库工具链接GBase 8s试试 详细添加步骤： URL:jdbc:gbasedbt-sqli://主机:端口/数据库:GBASEDBTSERVER=实例名;SQLMODE=GBase;DB_LOCALE=zh_CN.57372; url可以直接复制在GBase Data Studio中连接配置的JDBC URL
GBaseStudio连接操作GBase数据库
ShanHuHai26的博客
07-09 3436
GBaseStudio连接操作GBase数据库
kettle之gbase8s数据迁移
07-22
### Kettle之GBase8s数据迁移详解 #### Kettle简介与安装启动 Kettle是一款开源的数据集成工具，主要用于ETL（Extract-Transform-Load）操作，即数据抽取、转换和加载过程。Kettle提供了丰富的插件支持多种数据源...
开源ETL工具kettle实战gbase8s数据迁移
07-24
开源ETL工具kettle实战gbase8s数据迁移
gbase8s 数据库数据的导入和导出.doc
02-23
本文总结了 GBase8s 数据库常用的数据导入和导出工具和基本用法，包括Unload/Load、Dbload、Dbexport/Dbimport 和外部表四种方式。 一、Unload/Load Unload/Load 是最常用的简单的数据导入、导出工具，支持的数据...
Gbase 8s 数据类型.docx
11-24
GBase 8S 数据类型是南大通用数据库 GBase 8S 中的基础组件之一。它规定了一个属性的取值范围，直接对应于关系模型中域的概念。关系中的每个属性必须来自于一个域。相应地，表中每个列的取值必须符合定义表时指定的...
南大通用GBase 8s数据加密函数.docx
12-23
在南大通用GBase 8s数据库管理系统中，数据加密函数是一个非常重要的安全机制，它可以保护敏感数据免受未经授权的访问和泄露。通过使用SET ENCRYPTION PASSWORD语句和内置的SQL加密函数，可以对敏感数据进行加密和...
[GBase 8s 教程]GBase 8s 创建数据库
liaosnet的专栏
04-27 5299
GBase 8s 创建数据库可以用以下三种方式： 1, 使用 CREATE DATABASE SQL 语句来创建。 2, 使用 DBACCESS 工具 3, 使用 图形化工具DataStudio CREATE DATABASE 创建数据库 CREATE DATABASE 命令需要在 dbaccess 命令窗口来执行，语法格式如下： CREATE DATABASE databasename [in ...
DEV02-GBase 8a MPP Cluster 存储过程和存储函数
南大通用郝老师的专栏
05-25 3135
GBase 8a MPP Cluster 存储过程一、课程概述：二、存储过程：三、存储函数：四、存储过程和存储函数的区别： 一、课程概述：         天津南大通用数据技术股份有限公司（以下简称GBASE公司）的GBase 8a MPP Cluster（以下简称 8a 集群）是一款大规模分布式并行处理数据库集群产品。其存储过程非常强大，广泛应用于金融、电信、海关、政企、公安等行业的数仓建设工作。   &n
南大通用GBase 8a 数据库数据同步工具RtSync介绍
老紫竹的专栏
09-27 1264
转自CSDN论坛https://bbs.csdn.net/topics/397766110 南大通用实时同步系统，简称：GBaseRTSync，它是一款自主研发的异构同构数据库增量数据实时同步产品，具备实时性、一致性、精准性、易扩展性和可集成特性，适用亍OLTP数据库不OLAP数据库联劢向应用系统提供数据管理和数据分析功能的业务场景，可以实现将OLTP数据库的数据实时同步到OLAP数据库，从而使得OLAP数据库具备了实时数据分析的基础，解决数据增量同步问题，能够有效提升数据...
历史数据和增量数据无缝结合神器-实时同步系统 GBase RTSync
weixin_47390342的博客
09-30 602
南大通用实时同步系统，简称：GBase RTSync，它是一款自主研发的异构及同构数据库增量数据实时同步产品，具备实时性、一致性、精准性、易扩展性和可集成特性，适用于OLTP数据库与OLAP数据库联动向应用系统提供数据管理和数据分析功能的业务场景，可以实现将OLTP数据库的数据实时同步到OLAP数据库，从而使得OLAP数据库具备了实时数据分析的基础，解决数据增量同步问题，能够有效提升数据仓库系统、BI系统和决策支持系统的数据分析效率和及时性。 GBase RTSync核心组件 ● Capture：从数据
多个Gbase集群间表同步思路
lanyue1的博客
04-30 1197
背景：项目中存在多个不同子系统，每个子系统都拥有一套gbase集群，而有些表是各个子系统间公用的，如果各子系统只在自己的Gbase集群中更新公共配置，就会导致各子系统配置数据不一致，进而影响整个系统的功能功能，所以需要有一个框架来定时同步各子系统的配置数据。 问题：如何判断表变更？进行表同步时，考虑版本不同可能存在表结构差异，如何保证同步时让业务影响最小？ 思路：1、gbase提供集群间同步工...
求使用过GBase数据库的大神啊
热门推荐
renzhijie910306的博客
01-17 1万+
在Msql里面sql语句可以正常执行，但是在GBase里面就报错，求大神帮忙看看啊！！！ 这是报错信息： java.sql.SQLException: The column (menu_name) must be in the GROUP BY list 下面是sql语句： select  t.id, t.menu_name, t.menu_url, t.menu_icon,
图数据库查询与操作指南-以Nebula图数据库为例
DZSpace，专注于计算机科学与技术领域的技术博主，致力于分享实用知识与技巧，帮助读者快速掌握技术要点，共同探索计算机世界的无限可能。欢迎访问DZSpace的博客，一起学习进步！
07-26 304
图数据库查询与操作指南-以Nebula图数据库为例
ODBC连接达梦数据库
qq_55187735的博客
07-24 291
用户执行，因为环境变量配置在。
SQL基础入门：解锁数据库管理的钥匙
最新发布
WayneYalejk的博客
07-26 450
在数字化时代，数据已成为企业最宝贵的资产之一。为了高效地存储、查询和管理这些数据，SQL（Structured Query Language，结构化查询语言）应运而生。SQL不仅是数据库管理员的必备技能，也是数据分析师、开发人员等多个领域从业者的重要工具。本文将带您踏入SQL的世界，从基础概念到实际应用，一步步解锁数据库管理的钥匙。强调SQL在数据处理和分析中的重要性，鼓励读者通过实践不断深化对SQL的理解和应用。
GBase 8s V8.8 SQL语法详解：数据操作指南
该指南旨在帮助用户理解和掌握GBase 8s的SQL语句结构，提供了一种有效的工具来执行数据查询、数据定义、数据操纵等任务。 1. SQL语法概述： - 输入SQL语句：指南首先指导用户如何正确地输入SQL语句，强调了语法的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值