自制数据库迁移工具-C版-05-HappySunshineV1.4-(支持Gbase8a、PG)

置顶 已于 2024-09-24 07:14:03 修改
阅读量1.5k 收藏 14
点赞数 51
分类专栏： # 自制数据库迁移工具-C版 文章标签： 数据库 c语言 开发语言 学习 linux
于 2024-09-19 09:09:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45111959/article/details/141253957
版权

目录

 

一、环境信息

二、简述

三、架构图

四、升级点

五、支持功能

六、安装包下载地址

七、配置参数介绍

八、安装步骤

1、配置环境变量

2、生效环境变量

3、检验动态链接是否正常

4、修改配置文件MigrationConfig.txt

（1）Gbase8a -> Gbase8a

（2）Pg -> Gbase8a

九、运行效果

1、Gbase8a -> Gbase8a

2、Pg -> Gbase8a

十、性能对比

1、Gbase8a -> Gbase8a

（1）测试数据

（2）对比表格

（3）HappySunshine截图

INSERT

LOAD

（4）GBaseMigrationToolkit截图

 

一、环境信息

名称值
CPUIntel(R) Core(TM) i5-1035G1 CPU @ 1.00GHz
操作系统CentOS Linux release 7.9.2009 (Core)
内存4G
逻辑核数4
Gbase8a版本8.6.2-R43.34.27468a27
HappySunshine版本V1.4
Pg版本PostgreSQL 16.3

二、简述

心血来潮写了一个小工具，功能还在逐步完善中（其实是还在陆续补充新的C语言相关知识），有什么好的建议，大家可以在评论或私信告知。

三、架构图

我的画图水平感觉还不错。

69fb8c4716412dde87e34b76eadb2bb8.png

1、管理者进程启动。

2、管理者进程读取配置文件参数。

3、管理者进程创建共享内存。

4、管理者进程拉起执行者进程。

5、管理者进程通过共享存储中的任务队列，将需要迁移的数据放入队列中。

6、执行者进程创建线程池。

6、执行者进程一个生产者线程，N个消费者线程。

7、生产者线程从共享存储中的任务队列拿取任务，查询需要迁移表的条数，来决定迁移方式：LOAD或INSERT。如果进程数大于1，任务中包含的表有一个整型主键，会自动拆分数据为N份（进程数）。

8、如果是LOAD，由生产者线程单独完成。

9、如果是INSERT，将读出去的数据行指针打包，发给线程池中的任务队列。

10、消费者线程从线程池中的任务队列拿取任务。

11、消费者线程将任务包解开，将数据清洗，并放入自己的缓冲区中，清洗完再把INSERT命令发给Gbase8a。

12、消费者线程执行任务失败，将任务状态置为错误，待生产者线程发现任务失败后，终止任务下发给线程池队列，重新到共享存储中的任务队列拿取任务。

13、消费者线程执行任务成功，就继续执行。

14、管理者进程将任务发送完成之后，将任务结束标记放入共享存储中的任务队列中。

15、生产者线程从共享存储中的任务队列中拿到任务结束标记后。等待屏障，也就是等待消费者线程完成所拿到的任务。

16、执行者进程等待所有的消费者、生产者结束后，回收线程池资源，释放自身所占用资源，结束退出。

17、管理者进程等待所有执行者进程结束后，回收进程资源，释放自身所占用资源，结束退出。

四、升级点

序号名称备注
1性能提升INSERT方式将数据清洗逻辑，放到了消费者线程执行。
2出错任务终止原：单表迁移出错，会将错误数据落地，继续迁移剩余数据。
现：单表迁移出错，会将错误数据落地，终止此表任务。
3PG到Gbase8a库级数据迁移INSERT方式迁移，表定义及其他暂不支持。
4PG到Gbase8a表级数据迁移INSERT方式迁移，表定义及其他暂不支持。
5主键切分数据PG到Gbase8a迁移时，PG表有一个整型主键，会自动拆分数据为N份（进程数）。

五、支持功能

序号功能备注
1Gbase8a到8a数据迁移INSERT、LOAD方式迁移，表定义及其他暂不支持。
2PG到Gbase8a数据迁移INSERT方式迁移，表定义及其他暂不支持。

六、安装包下载地址

GITHUB-HappySunshine-release版下载地址

七、配置参数介绍

序号参数备注
1[Tool]Tool标签头，下面只能写Tool相关参数。
2ProcessNums程序迁移时开的进程数。
3Level迁移级别。
1:表级迁移，SpecifiedTab生效。
2:库级迁移，MigrationDb、BlackList生效。
4OsInfoLOAD数据时使用。
样例：'工具所在操作系统IP;操作系统用户;操作系统用户密码;'
长度同下方的数据库IP;数据库用户名;数据库用户密码;
5OneBatchNums一个批次插入的数据条数。（INSERT方式）
6SwitchNumsMigrationType为0的情况下，支持此参数，此数以上使用LOAD，以下使用INSERT。
7MigrationType迁移类型，支持0、1。
0 : Gbase8a     -> Gbase8a
1 : PostgreSql  -> Gbase8a
8[Source] Source标签头，下面只能写Source相关参数。
9ConnInfo样例：'IP;数据库用户名;数据库用户密码;数据库名;数据库端口号;数据连接字符集;'
（1）单个IP长度限制19，数据库IP地址。
（2）单个用户名长度限制19，数据库用户名。
（3）单个用户名密码长度限制29，数据库密码。
（4）单个数据库名长度限制29，数据库名。
（5）数据库端口。
（6）长度限制9，数据库连接字符集，支持utf8和gbk。
10MigrationDb库级迁移参数，单个数据库名长度限制29，需要迁移的数据库名。
MigrationType为1的情况下，此为PG的模式名。
11BlackList库级迁移参数，支持128个表，黑名单，表名，长度限制参考Db。和MigrationDb一起使用可以。
12SpecifiedTabMigrationType为0的情况下，表级迁移参数,格式:'源端查询字段;源端库名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;'

MigrationType为1的情况下，表级迁移参数,格式:'源端查询字段;源端模式名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;'

如果没有特定条件，可以不写，但必须有分隔符，举例如下：
';czg;testtab;;;zxj;NewTab;'
这样相当于testtab迁移到NewTab，没有任何特殊条件。
这个可以有多个标签，想迁移多少张表就写几个标签。
13[Target]Target标签头，下面只能写Target相关参数。
14ConnInfo参考Source的。
15MigrationDb参考Source的。

八、安装步骤

大家也可以参考Readme.txt内容。

1、配置环境变量

/home/gbase/.bashrc中添加如下

[gbase@czg0 Exec]$ vim /home/gbase/.bashrc
export HAPPY_SUNSHINE_HOME=/home/gbase/HappySunshine
export LD_LIBRARY_PATH=$HAPPY_SUNSHINE_HOME/Libs:$LD_LIBRARY_PATH

2、生效环境变量

source /home/gbase/.bashrc

3、检验动态链接是否正常

[gbase@czg0 Exec]$ pwd
/home/gbase/HappySunshine/Exec

[gbase@czg0 Exec]$ ldd HsManager 
        linux-vdso.so.1 =>  (0x00007ffefa1e1000)
        libPublic.so => /home/gbase/HappySunshine/Libs/libPublic.so (0x00007fcd61e61000)
        libLog.so => /home/gbase/HappySunshine/Libs/libLog.so (0x00007fcd61c5c000)
        libSqQueue.so => /home/gbase/HappySunshine/Libs/libSqQueue.so (0x00007fcd61a56000)
        libPthread.so => /home/gbase/HappySunshine/Libs/libPthread.so (0x00007fcd61849000)
        libFileOperate.so => /home/gbase/HappySunshine/Libs/libFileOperate.so (0x00007fcd61643000)
        libDataConvertion.so => /home/gbase/HappySunshine/Libs/libDataConvertion.so (0x00007fcd6143f000)
        libProcess.so => /home/gbase/HappySunshine/Libs/libProcess.so (0x00007fcd61236000)
        libGbase8aDb.so => /home/gbase/HappySunshine/Libs/libGbase8aDb.so (0x00007fcd6102f000)
        libgbase.so.16 => /home/gbase/HappySunshine/Libs/libgbase.so.16 (0x00007fcd60b6f000)
        libHashTable.so => /home/gbase/HappySunshine/Libs/libHashTable.so (0x00007fcd6096b000)
        libPgDb.so => /home/gbase/HappySunshine/Libs/libPgDb.so (0x00007fcd60763000)
        libpq.so.5 => /home/gbase/HappySunshine/Libs/libpq.so.5 (0x00007fcd6050d000)
        libHsPublic.so => /home/gbase/HappySunshine/Libs/libHsPublic.so (0x00007fcd6030a000)
        libc.so.6 => /lib64/libc.so.6 (0x00007fcd5ff3c000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fcd5fd20000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00007fcd5fb1c000)
        libm.so.6 => /lib64/libm.so.6 (0x00007fcd5f81a000)
        /lib64/ld-linux-x86-64.so.2 (0x00007fcd62064000)

[gbase@czg0 Exec]$ ldd G8aExecutor 
        linux-vdso.so.1 =>  (0x00007fff53dab000)
        libPublic.so => /home/gbase/HappySunshine/Libs/libPublic.so (0x00007fb6e7799000)
        libLog.so => /home/gbase/HappySunshine/Libs/libLog.so (0x00007fb6e7594000)
        libSqQueue.so => /home/gbase/HappySunshine/Libs/libSqQueue.so (0x00007fb6e738e000)
        libPthread.so => /home/gbase/HappySunshine/Libs/libPthread.so (0x00007fb6e7181000)
        libFileOperate.so => /home/gbase/HappySunshine/Libs/libFileOperate.so (0x00007fb6e6f7b000)
        libDataConvertion.so => /home/gbase/HappySunshine/Libs/libDataConvertion.so (0x00007fb6e6d77000)
        libProcess.so => /home/gbase/HappySunshine/Libs/libProcess.so (0x00007fb6e6b6e000)
        libGbase8aDb.so => /home/gbase/HappySunshine/Libs/libGbase8aDb.so (0x00007fb6e6967000)
        libgbase.so.16 => /home/gbase/HappySunshine/Libs/libgbase.so.16 (0x00007fb6e64a7000)
        libMyPool.so => /home/gbase/HappySunshine/Libs/libMyPool.so (0x00007fb6e62a4000)
        libHashTable.so => /home/gbase/HappySunshine/Libs/libHashTable.so (0x00007fb6e60a0000)
        libHsPublic.so => /home/gbase/HappySunshine/Libs/libHsPublic.so (0x00007fb6e5e9d000)
        libc.so.6 => /lib64/libc.so.6 (0x00007fb6e5acf000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fb6e58b3000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00007fb6e56af000)
        libm.so.6 => /lib64/libm.so.6 (0x00007fb6e53ad000)
        /lib64/ld-linux-x86-64.so.2 (0x00007fb6e799c000)

[gbase@czg0 Exec]$ ldd Pg2G8aExecutor 
        linux-vdso.so.1 =>  (0x00007ffcefb8f000)
        libPublic.so => /home/gbase/HappySunshine/Libs/libPublic.so (0x00007f3ce49a4000)
        libLog.so => /home/gbase/HappySunshine/Libs/libLog.so (0x00007f3ce479f000)
        libSqQueue.so => /home/gbase/HappySunshine/Libs/libSqQueue.so (0x00007f3ce4599000)
        libPthread.so => /home/gbase/HappySunshine/Libs/libPthread.so (0x00007f3ce438c000)
        libFileOperate.so => /home/gbase/HappySunshine/Libs/libFileOperate.so (0x00007f3ce4186000)
        libDataConvertion.so => /home/gbase/HappySunshine/Libs/libDataConvertion.so (0x00007f3ce3f82000)
        libProcess.so => /home/gbase/HappySunshine/Libs/libProcess.so (0x00007f3ce3d79000)
        libGbase8aDb.so => /home/gbase/HappySunshine/Libs/libGbase8aDb.so (0x00007f3ce3b72000)
        libgbase.so.16 => /home/gbase/HappySunshine/Libs/libgbase.so.16 (0x00007f3ce36b2000)
        libMyPool.so => /home/gbase/HappySunshine/Libs/libMyPool.so (0x00007f3ce34af000)
        libPgDb.so => /home/gbase/HappySunshine/Libs/libPgDb.so (0x00007f3ce32a7000)
        libpq.so.5 => /home/gbase/HappySunshine/Libs/libpq.so.5 (0x00007f3ce3051000)
        libHashTable.so => /home/gbase/HappySunshine/Libs/libHashTable.so (0x00007f3ce2e4d000)
        libHsPublic.so => /home/gbase/HappySunshine/Libs/libHsPublic.so (0x00007f3ce2c4a000)
        libc.so.6 => /lib64/libc.so.6 (0x00007f3ce287c000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f3ce2660000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00007f3ce245c000)
        libm.so.6 => /lib64/libm.so.6 (0x00007f3ce215a000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f3ce4ba7000)

如果有动态库没有找到，就要看看环境变量是否配置正确或是否生效。

4、修改配置文件MigrationConfig.txt

具体的内容我都在配置文件中写好，大家按照规则来就行。

（1）Gbase8a -> Gbase8a

//*代表不可以空
//单引号包围参数，分号分割参数项
//每行开头不可以有空格，不然会跳过此参数检查。
//SpecifiedTab参数可以有多个。
 
[Tool]                                                              //工具信息。
ProcessNums      : '2;'                                             //*程序迁移时开的进程数。
Level            : '1;'	                                            //*迁移级别。
                                                                    //2:库级迁移，BlackList生效。
                                                                    //1:表级迁移，SpecifiedTab生效。
OsInfo           : '192.168.142.12;gbase;gbase;'                    //*Gbase8a -> Gbase8a LOAD使用。工具所在操作系统IP;操作系统用户;操作系统用户密码;长度同下方的数据库IP;数据库用户名;数据库用户密码;
OneBatchNums     : '80000;'                                         //*一个批次插入的数据条数。（INSERT方式）
SwitchNums       : '2000000;'                                       //*此数以上使用LOAD，以下使用INSERT。
MigrationType    : '0;'                                             //*迁移类型，支持0、1。
                                                                    //0 : Gbase8a     -> Gbase8a
                                                                    //1 : PostgreSql  -> Gbase8a

[Source]                                                            //源端信息。
ConnInfo         : '192.168.142.12;root;;czg;5258;utf8;'            //'IP;数据库用户名;数据库用户密码;数据库名;数据库端口号;数据连接字符集;'
                                                                    //*单个IP长度限制19，数据库IP地址。
                                                                    //*单个用户名长度限制19，数据库用户名。
                                                                    //*单个用户名密码长度限制29，数据库密码。
                                                                    //*单个数据库名长度限制29，数据库名。
                                                                    //*数据库端口。
                                                                    //*长度限制9，数据库连接字符集，支持utf8和gbk。
MigrationDb      : 'czg;'                                           //库级迁移参数，单个数据库名长度限制29，需要迁移的数据库名。
                                                                    //MigrationType为1的情况下，此为PG的模式名。
BlackList        : 'testtab;'                                       //库级迁移参数，支持50个表，黑名单，表名，长度限制参考Db。和MigrationDb一起使用可以。        
SpecifiedTab     : 'a,b,c;czg;testtab;Limit 10;x,y,z;zxj;NewTab;'            
                                                                    //表级迁移参数,格式:'源端查询字段;源端库名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;'
                                                                    //如果没有特定条件，可以不写，但必须有分隔符，举例如下：
                                                                    //';czg;testtab;;;zxj;NewTab;'
                                                                    //这样相当于testtab迁移到NewTab，没有任何特殊条件。
                                                                    //这个可以有多个标签，想迁移多少张表就写几个标签。
SpecifiedTab     : ';czg;testtab_copy;;;zxj;testtab_copy;'
SpecifiedTab     : ';czg;czg;;;zxj;czg;'

[Target]                                                            //目的端信息。
ConnInfo         : '192.168.142.12;czg;qwer1234;zxj;5258;utf8;'
MigrationDb      : 'zxj;'                                           //库级迁移参数，单个数据库名长度限制29，需要迁移的数据库名。

（2）Pg -> Gbase8a

//*代表不可以空
//单引号包围参数，分号分割参数项
//每行开头不可以有空格，不然会跳过此参数检查。
//SpecifiedTab参数可以有多个。
 
[Tool]                                                           //工具信息。
ProcessNums   : '2;'                                             //*程序迁移时开的进程数。
Level         : '1;'	                                         //*迁移级别。
                                                                 //2:库级迁移，BlackList生效。
                                                                 //1:表级迁移，SpecifiedTab生效。
OsInfo        : '192.168.142.12;gbase;gbase;'                    //*Gbase8a -> Gbase8a LOAD使用。工具所在操作系统IP;操作系统用户;操作系统用户密码;长度同下方的数据库IP;数据库用户名;数据库用户密码;
OneBatchNums  : '80000;'                                         //*一个批次插入的数据条数。（INSERT方式）
SwitchNums    : '2000000;'                                       //*MigrationType为0的情况下，支持此参数，此数以上使用LOAD，以下使用INSERT。
MigrationType : '1;'                                             //*迁移类型，支持0、1。
                                                                 //0 : Gbase8a     -> Gbase8a
                                                                 //1 : PostgreSql  -> Gbase8a
			  
[Source]                                                         //源端信息。
#ConnInfo      : '192.168.142.12;root;;czg;5258;utf8;'
ConnInfo      : '192.168.142.12;postgres;postgres;czg;5432;utf8;' //'IP;数据库用户名;数据库用户密码;数据库名;数据库端口号;数据连接字符集;'
                                                                 //*单个IP长度限制19，数据库IP地址。
                                                                 //*单个用户名长度限制19，数据库用户名。
                                                                 //*单个用户名密码长度限制29，数据库密码。
                                                                 //*单个数据库名长度限制29，数据库名。
                                                                 //*数据库端口。
                                                                 //*长度限制9，数据库连接字符集，支持utf8和gbk。
MigrationDb   : 'zxj;'                                           //库级迁移参数，单个数据库名长度限制29，需要迁移的数据库名。
                                                                 //MigrationType为1的情况下，此为PG的模式名。
BlackList     : ''                                               //库级迁移参数，支持50个表，黑名单，表名，长度限制参考Db。和MigrationDb一起使用可以。        
#SpecifiedTab  : 'a,b,c;czg;testtab;Limit 10;x,y,z;zxj;NewTab;'            
                                                                 //MigrationType为0的情况下，表级迁移参数,格式:'源端查询字段;源端库名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;'
                                                                 //MigrationType为1的情况下，表级迁移参数,格式:'源端查询字段;源端模式名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;'
                                                                 //如果没有特定条件，可以不写，但必须有分隔符，举例如下：
                                                                 //';czg;testtab;;;zxj;NewTab;'
                                                                 //这样相当于testtab迁移到NewTab，没有任何特殊条件。
                                                                 //这个可以有多个标签，想迁移多少张表就写几个标签。
#SpecifiedTab  : ';czg;testtab_copy;;;zxj;testtab_copy;'
#SpecifiedTab  : ';czg;czg;;;zxj;czg;'

SpecifiedTab  : ';public;testtab;;;zxj;testtab;'
SpecifiedTab  : ';public;students;;;zxj;students;'
SpecifiedTab  : ';public;haha;;;zxj;haha;'

[Target]                                                         //目的端信息。
ConnInfo      : '192.168.142.12;czg;qwer1234;zxj;5258;utf8;'
MigrationDb   : 'zxj;'                                           //库级迁移参数，单个数据库名长度限制29，需要迁移的数据库名。

九、运行效果

1、Gbase8a -> Gbase8a

[gbase@czg0 Exec]$ ./HsManager &

[gbase@czg0 Exec]$ tail -100f HappySunshineV1.4.log
2024-08-16 10:44:56-P[50461]-T[50461]-[Info ]-HappySunshineV1.4
2024-08-16 10:44:56-P[50461]-T[50461]-[Info ]-PrintHsMngrSt      :
OsEnv              : /opt/Developer/ComputerLanguageStudy/C/DataStructureTestSrc/PublicFunction/HappySunshine
OsUser             : gbase
OsPwd              : gbase
OsIp               : 192.168.142.12
SrcMigrationDb     : czg
TgtMigrationDb     : 
OneBatchNums       : 50000
SwitchNums         : 2000000
Level              : 1
ProcessNums        : 2
ConnInfo           : [192.168.142.12,root,,czg,5258,utf8] -> [192.168.142.12,czg,qwer1234,zxj,5258,utf8]
PrintSeq           : TaskQ,BlackList,WhiteList.
2024-08-16 10:44:56-P[50461]-T[50461]-[Info ]-StrSqQ             :
Data               : []
FrontIndex         : 0
RearIndex          : 0
SqQueueLen         : 0
2024-08-16 10:44:56-P[50461]-T[50461]-[Info ]-SqQueue Data       :
Data               : [ 'testtab' ]
FrontIndex         : 0
RearIndex          : 1
SqQueueLen         : 1
SqQueueMaxLen      : 50
Flag               : STRING_TYPE_FLAG
2024-08-16 10:44:56-P[50461]-T[50461]-[Info ]-SqQueue Data       :
Data               : [ 'a,b,c;czg;testtab;Limit 10;x,y,z;zxj;NewTab;' ,';czg;testtab_copy;;;zxj;testtab_copy;' ,';czg;czg;;;zxj;czg;' ]
FrontIndex         : 0
RearIndex          : 3
SqQueueLen         : 3
SqQueueMaxLen      : 50
Flag               : STRING_TYPE_FLAG
2024-08-16 10:44:57-P[50465]-T[50475]-[Info ]-Migration Complete : czg.testtab              -> zxj.NewTab              , DataNum :         10 Row, Elapsed Time :     0 s.
2024-08-16 10:44:57-P[50465]-T[50475]-[Info ]-Migration Complete : czg.czg                  -> zxj.czg                 , DataNum :       2050 Row, Elapsed Time :     0 s.
2024-08-16 10:45:22-P[50466]-T[50473]-[Info ]-Migration Complete : czg.testtab_copy         -> zxj.testtab_copy        , DataNum :    1310727 Row, Elapsed Time :    25 s, Efficiency : 52429 Row/s.
2024-08-16 10:46:22-P[50461]-T[50461]-[Info ]-HappySunshine Quit : OK.

2、Pg -> Gbase8a

[gbase@czg2 Exec]$ ./HsManager &
[1] 30081
[gbase@czg2 Exec]$ tail -100f HappySunshineV1.4.log 
2024-09-18 10:45:22-P[30081]-T[30081]-[Info ]-HappySunshineV1.4
2024-09-18 10:45:22-P[30081]-T[30081]-[Info ]-PrintHsMngrSt      :
MigrationType      : 1
OsEnv              : /opt/Developer/ComputerLanguageStudy/C/DataStructureTestSrc/PublicFunction/HappySunshine
OsUser             : gbase
OsPwd              : gbase
OsIp               : 192.168.142.12
SrcDb              : zxj
DestDb             : zxj
OneBatchNums       : 80000
SwitchNums         : 2000000
Level              : 1
ProcessNums        : 2
ConnInfo           : [192.168.142.12,postgres,postgres,czg,5432,utf8] -> [192.168.142.12,czg,qwer1234,zxj,5258,utf8]
PrintSeq           : TaskQ,BlackList,WhiteList.
2024-09-18 10:45:22-P[30081]-T[30081]-[Info ]-StrSqQ             :
Data               : []
FrontIndex         : 0
RearIndex          : 0
SqQueueLen         : 0
2024-09-18 10:45:22-P[30081]-T[30081]-[Info ]-SqQueue Data       :
Data               : []
FrontIndex         : 0
RearIndex          : 0
SqQueueLen         : 0
SqQueueMaxLen      : 50
Flag               : STRING_TYPE_FLAG
2024-09-18 10:45:22-P[30081]-T[30081]-[Info ]-SqQueue Data       :
Data               : [ ';public;testtab;;;zxj;testtab;' ,';public;students;;;zxj;students;' ,';public;haha;;;zxj;haha;' ]
FrontIndex         : 0
RearIndex          : 3
SqQueueLen         : 3
SqQueueMaxLen      : 50
Flag               : STRING_TYPE_FLAG
2024-09-18 10:45:22-P[30084]-T[30111]-[Info ]-PgPkSplit2Q        : OK, Schema : public, Tab : testtab, SplitNums : 2.
2024-09-18 10:45:22-P[30083]-T[30118]-[Info ]-Migration Complete : public.students             -> zxj.students            , DataNum :          0 Row, Elapsed Time :    0.001 s.
2024-09-18 10:45:22-P[30083]-T[30118]-[Info ]-Migration Complete : public.haha                 -> zxj.haha                , DataNum :          0 Row, Elapsed Time :    0.001 s.
2024-09-18 10:46:01-P[30083]-T[30118]-[Info ]-Migration Complete : public.testtab              -> zxj.testtab             , DataNum :    1049631 Row, Elapsed Time :   38.782 s, Efficiency : 27621 Row/s.
2024-09-18 10:46:10-P[30084]-T[30111]-[Info ]-Migration Complete : public.testtab              -> zxj.testtab             , DataNum :    1048608 Row, Elapsed Time :   47.605 s, Efficiency : 22310 Row/s.
2024-09-18 10:47:10-P[30081]-T[30081]-[Info ]-HappySunshine Quit : OK.

我这边测试的PUBLIC.TESTTAB表包含一个整型主键，所以进行了数据切分，效率在48000 Row/s左右，因为我这边虚机资源有限，如果大家有条件的话，最好PG、GBASE8A、HappySunshine分别放在三台机器上运行，这时大家可以加大进程数，看一下单表（包含一个整型主键）的效果，应该会更快一些。

十、性能对比

我们测试将czg库下的testtab_copy拉到zxj库下，对比效率。

1、Gbase8a -> Gbase8a

（1）测试数据

gbase> select count(*) from czg.testtab_copy;
+----------+
| count(*) |
+----------+
|  1310720 |
+----------+
1 row in set (Elapsed: 00:00:00.00)

gbase> select * from czg.testtab_copy limit 10;
+------+------+------+--------------------+---------------------+--------------------------+------------+---------------------+
| a    | b    | c    | d                  | e                   | f                        | g          | h                   |
+------+------+------+--------------------+---------------------+--------------------------+------------+---------------------+
|    1 |  1.1 | czg  | 快乐的小天使       | qwertasdsdfzxczxxv  | gregergjsfishfuieehfuiew | 1995-09-18 | 2022-08-03 09:24:00 |
|    1 |  1.1 | czg  | 快乐的小天使       | qwertasdsdfzxczxxv  | gregergjsfishfuieehfuiew | 1995-09-18 | 2022-08-03 09:24:00 |
|    1 |  1.1 | czg  | 快乐的小天使       | qwertasdsdfzxczxxv  | gregergjsfishfuieehfuiew | 1995-09-18 | 2022-08-03 09:24:00 |
|    1 |  1.1 | czg  | 快乐的小天使       | qwertasdsdfzxczxxv  | gregergjsfishfuieehfuiew | 1995-09-18 | 2022-08-03 09:24:00 |
|    1 |  1.1 | czg  | 快乐的小天使       | qwertasdsdfzxczxxv  | gregergjsfishfuieehfuiew | 1995-09-18 | 2022-08-03 09:24:00 |
|    2 |  1.1 | czg  | 快乐的小天使       | qwertasdsdfzxczxxv  | gregergjsfishfuieehfuiew | 1995-09-18 | 2022-08-03 09:24:00 |
|    2 |  4.1 | czg  | 快乐的小天使       | qwertasdsdfzxczxxv  | gregergjsfishfuieehfuiew | 1995-09-18 | 2022-08-03 09:24:00 |
|    2 |  4.1 | czg  | 快乐的小天使       | qwertasdsdfz\xczxxv | gregergjsfishfuieehfuiew | 1995-09-18 | 2022-08-03 09:24:00 |
|    2 |  4.1 | czg  | 快乐的小天使       | qwertasdsdfz.xczxxv | gregergjsfishfuieehfuiew | 1995-09-18 | 2022-08-03 09:24:00 |
|    2 |  4.1 | czg  | 快乐的小天使       | qwertasdsdfz.xczxxv | gregergjsfishfuieehfuiew | 1995-09-18 | 2022-08-03 09:24:00 |
+------+------+------+--------------------+---------------------+--------------------------+------------+---------------------+
10 rows in set (Elapsed: 00:00:00.31)

gbase> desc czg.testtab_copy;
+-------+--------------+------+-----+-------------------+-----------------------------+
| Field | Type         | Null | Key | Default           | Extra                       |
+-------+--------------+------+-----+-------------------+-----------------------------+
| a     | int(11)      | YES  |     | NULL              |                             |
| b     | double       | YES  |     | NULL              |                             |
| c     | varchar(100) | YES  |     | NULL              |                             |
| d     | text         | YES  |     | NULL              |                             |
| e     | blob         | YES  |     | NULL              |                             |
| f     | longblob     | YES  |     | NULL              |                             |
| g     | date         | YES  |     | NULL              |                             |
| h     | timestamp    | NO   |     | CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP |
+-------+--------------+------+-----+-------------------+-----------------------------+
8 rows in set (Elapsed: 00:00:00.00)

（2）对比表格

工具名每秒条数方式环境
HappySunshine48545INSERT本机Linux虚拟机
87381LOAD
GBaseMigrationToolkit_8.5.20.0_build4_winx86_6413375INSERT本机win

（3）HappySunshine截图

INSERT

07869c8d79989b7dfef9e0cab0371544.png

LOAD

8b546be88923675c963132121c901c92.png

（4）GBaseMigrationToolkit截图

3221c00e7c74fceae4b2c227ea363fd8.png

 

阳光九叶草LXGZXJ
关注
专栏目录
数据库迁移-国产化-迁移建议-GreenPlum DB向GBase 8a 迁移
huixinhuiyismile的博客
09-02 1078
数据库迁移-国产化-迁移建议-GreenPlum DB向GBase 8a 迁移
自制数据库迁移工具-C版-03-HappySunshineV1.2-(支持Gbase8a)
12-15
《自制数据库迁移工具-C版-03-HappySunshineV1.2-(支持Gbase8a)》 在IT行业中，数据库迁移是一项重要的任务，它涉及到数据的安全、完整以及高效地从一个数据库系统转移到另一个系统。本文将详细介绍一个用C语言实现...
自制数据库迁移工具-C版-04-HappySunshineV1.3-(支持Gbase8a)
qq_45111959的博客
05-09 924
还在为数据迁移烦恼吗？HappySunshine帮你解决，简单部署，简单配置，一键运行，值得尝试哦。
南大通用数据库-Gbase-8a-学习-21-Oracle到Gbase8a迁移工具orato8a
qq_45111959的博客
09-08 1266
orato8a 是一个可以快速、高效地从 oracle 数据库系统中抽取数据，并将数据保存到指定文件中的专用工具。并且 orato8a 还提供查询语句导出和全表导出两种方式，其中全表导出的登录用户需要对 dba_extents、dba_objects和 dba_tables 这三张表有 select 权限。
南大通用数据库-Gbase-8a-学习-00-单机版安装
qq_45111959的博客
07-07 3492
云盘包含： （1）Gbase-8a-相关文档资料。 （2）Gbase-8a-单机版本安装包。 （3）GBase-8a企业管理器。 二、安装步骤 1、创建操作系统用户 2、创建目录并解压 3、修改目录用户组 4、安装数据库 5、配置环境变量 添加如下内容： 使环境变量在当前会话立即生效 6、启动数据库 7、登录数据库 默认数据库root用户密码为空，我们回车即可，保险起见我们自己配置一下root的密码。.........
南大通用数据库-Gbase-8a-学习-18-CAPI
qq_45111959的博客
08-25 1760
该结构代表与数据库连接的句柄。不建议对 GBase 结构进行拷贝，不保证这样的拷贝会有用。} GBASE;该结构用来保存字段的信息（字段名、类型、大小）。通过重复调用gbase_fetch_field()可以为每个字段获取 GBASE_FIELD 结构。参数名描述name字段别名。org_name字段定义名。table表别名。org_table表定义名。db数据库名。
南大通用数据库-Gbase-8a-学习-16-Gbase8a到Gbase8a的集群同步工具RSync
qq_45111959的博客
08-21 869
集群间同步工具是基于镜像集群的底层二进制同步的工具，其同步的对象是库内的数据，通过解析、比对二进制文件的变化进行同步；包含增量同步和全量同步。
南大通用数据库-Gbase-8a-学习-22-备份恢复工具gcrcman
qq_45111959的博客
09-16 1076
GBase 8a MPP Cluster 备份恢复工具gcrcman支持如下：1、 实例级全量备份。将当前数据库的数据(全集群 gclusterd,gnode 存储的所有数据)全量备份至指定的备份目录中(用户保证创建好)。2、 实例级增量备份。在指定备份目录中的全量或增量备份数据的基础上，将当前数据库的数据增量备份至该备份目录。3、 表级全量备份。将某一个表的数据全量备份至备份目录中。4、 表级增量备份。将某一个表的数据增量备份至备份目录中。5、 实例级恢复。
南大通用数据库-Gbase-8a-学习-17-Gbase8a集群版本升级
qq_45111959的博客
08-23 1728
介绍gbase8a的升级的具体步骤，如果失败，如何回退版本。
自制数据库迁移工具-C版-02-HappySunshineV1.1-(支持Gbase8a)
10-25
《自制数据库迁移工具-C版-02-HappySunshineV1.1-(支持Gbase8a)》是一款专为Gbase 8a数据库设计的C语言编写的迁移工具，旨在帮助用户实现数据从一个环境到另一个环境的安全、高效迁移。在数据库管理中，数据迁移是一...
自制数据库迁移工具-C版-03-HappySunshineV1.3-(支持Gbase8a)
05-09
HappySunshineV1.3是一款专为Gbase8a数据库设计的迁移工具，Gbase8a是国产的一款高性能、高可用性的分布式列式数据库，常用于大数据处理场景。这款工具的出现，极大地简化了Gbase8a数据库在不同环境间的迁移过程，...
数据库迁移工具-C版-01-HappySunshineV1.0-(支持Gbase8a)
10-17
本文将深入探讨名为"HappySunshineV1.0"的C版数据库迁移工具，特别强调其对Gbase8a数据库的支持。Gbase8a是由南大通用数据技术有限公司开发的一款高性能、高可用性的分布式列式数据库，广泛应用于大数据处理和分析...
自制数据库空洞率清理工具-C版-02-EasyClean-V1.1（支持南大通用数据库Gbase8a）
01-04
《自制数据库空洞率清理工具-C版-02-EasyClean-V1.1：深入解析与应用》 在IT行业中，数据库管理是至关重要的任务，它关乎数据的存储、检索和安全。本篇文章将深入探讨一款针对南大通用数据库Gbase8a的C语言编写的...
MySQL数据库的详细学习步骤
最新发布
2401_87352036的博客
10-11 748
MySQL数据库的详细学习步骤可以归纳为以下几个阶段，每个阶段都包含了特定的学习内容和目标。
PostgreSQL的WAL日志优化及验证
Java_fenxiang的博客
10-05 884
在应用负载不变的情况下可以通过如下方法进行WAL优化登录后复制 1) 延长checkpoint时间间隔 FPI产生于checkpoint之后第一次变脏的page，在下次checkpoint到来之前，已经输出过FPI的page是不在需要再次输出FPI。因此checkpoint时间间隔越长，FPI产生的频度会越低。增大ch...
鲁班到家上门安装维修系统源码开发之结构功能解析
weixin_43744973的博客
10-08 1085
鲁班到家上门安装维修系统的源码开发是一个复杂但富有成效的过程。通过详细的需求分析、技术选型、功能模块设计以及前后端分离开发，该系统不仅提升了服务效率，还通过数字化管理优化了用户体验。未来，该系统有望在智能家居售后服务领域发挥更加重要的作用，引领行业向更加高效、专业、透明的方向发展。
【2024】基于mysqldump的数据备份与恢复
皮皮的博客
10-03 1069
本文记录了mysqldump对于MySQL数据库的备份与恢复用法
GBase8a数据库快速入门-南大通用数据技术有限公司
"这篇文章主要介绍了GBase 8a数据库系统，并提供了相关表格的字段说明，包括日期相关的字段和商品信息表的字段。GBase 8a是一款高性能、高性价比、高可用性的数据库产品，适用于数据仓库和大数据处理场景。文章还...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值