mysql逻辑备份数据通常使用mysqldump工具,导出数据的格式有两种。
第一种是导出sql语句的形式,包含建表以及插入数据insert 的形式
第二种是单独的建表语句以及单独的数据文件txt的格式,即tab形式
数据量比较小的时候通过第一种方式就可以实现,例如几十条甚至上千条,但是如果需要处理的数据达到百万级甚至千万级别的话就需要使用第二种形式了,我工作中用的第二种方式,处理了上亿的数据,导出用了不到3小时,导入同样不到3小时,有一点就是导入导出比较耗费内存,上千万的数据最好内存能够达到16g,内存越大越好,因为一个个表单独导入是保存到内存里然后刷到硬盘中,我其中还使用了shell多线程导出导入,操作的是整个数据库的逻辑导入导出,最大的一张表是9千万的数据,整个库反正物理备份压缩以后是30g.不扯别的,这算是一种实际操作经验分享给大家,脚本请参考如下:链接:https://pan.baidu.com/s/1c1ACSV6tMijHNE688bNEFQ
提取码:fdbw