对于mycat数据导入,最近一直在研究,因为有个客户的mysql数据库中,单表数据已经30多个GB,存了上亿条的数据
查询速度远远跟不上需求了,这个时候,我做了一个mycat集群,将单表拆分到128个分库中,均匀分散这些数据,
集群搭建好以后,怎么把原来的数据导入到集群中,就很麻烦了.
下面是我的方法:
使用kette编写脚本,将现网mysql中的数据迁移到mycat中去。
经过调试发现因为kettle的9.x版本与现网的mycat版本不兼容,会有一些奇怪的异常。
所以使用了7.1版本。创建好mysql和mycat的数据库链接,编写好对应的表迁移脚本
将kettle打包至现网机器,使用命令执行迁移脚本即可。
kettle迁移mysql单表1亿数据只需要1个小时左右