数据导入基本上每个后端码农都会碰到,难度也不大。平常都是通过Insert语句一条条的插入,但数据量大的时候就比较恶心了。耗费时间长,还容易内存溢出。这里介绍另外一种导入方式。LOAD DATA方式导入。
因为LOAD DATA方式导入的是纯数据,跳过了SQL的校验和优化,导入的速度也就大大提升了。
第一步生成测试数据:
第二步:文件切割(切割便于多线程操作)
切割后的文件:
第三步开始导入数据:
查看数据库:
控制台打印时间:63350毫秒
当然多线程运行的话时间会更快。
注:使用navicat也能导入,配置好分隔符就行,时间有点长。
参考文档:
https://dev.mysql.com/doc/refman/8.0/en/load-data.html
http://www.imooc.com/article/74111