使用java把10G文本导入mysql(并转码为csv)
使用java把10G文本导入mysql(并转码为csv)
第一次遇到10G的文本需要导入,所以一开始想直接按行导入,结果读取了txt发现有1亿8千万行,算下来要导入半个月了,属于千万级数据,不建议逐行操作。最后发现mysql有LOAD DATA LOCAL INFILE语句可以非常快速的导入txt文档,10G的文档经过测试只用2个小时。本次导入分为三步:
(1)把10G文件切割成100个100M的...
原创
2018-11-08 18:10:15 ·
1301 阅读 ·
0 评论