项目背景:
需要将gbase8a中的业务数据迁移到mysql5.6中,通过kettle迁移特别慢,通过datax迁移数据是kettle的三倍。
实现原理:
基于gbase8a 业务表中的rowid切片,实现数据的迁移,当然也可以使用分页,用rowid还可以轻松实现增量数据的迁移 (业务表无自增ID和自增时间戳的情况),这里只记录一下rowd功能测试
测试环境版本
gbase8a 8.6.2.43-R7-free.110605
mysql5.7.29
datax同步脚本在博客里有https://editor.csdn.net/md/?articleId=105779378
gbase8a rowid的功能实验
rowid是一个整型数据,默认值是从0开始的,插入一条记录,自动增长1
gbase> select *,rowid from test;
±-----±-----±------+
| name | info | rowid |
±-----±-----±------+
| a | b | 0 |
| b | b | 1 |
| c | c | 2 |
| d | d | 3 |
| e | e | 4 |
±-----±-----±------+
删除中间rowid=1的记录,再插入一条记录,看看rowid是否能被重用
gbase> delete from test whe