python 导入3000万条数据到mysql,尝试了很多种方法,发现LOAD DATA INFILE 导入的效率是最高,不到1分钟就导入完毕,效率实在是高,LOAD DATA INFILE 具体说明大家可以看其它文档。
贴上代码和遇到的坑描述下。
功能:按天创建新表,如果不存在则创建。创建完毕按天文件导入hash数据到表中。
遇到
问题1:python 通过load data 导入mysql 数据库时候需要配置connect为 local_infile=1
问题2:'''LINES TERMINATED BY \\r\\n WIN 为\\r,LINUX 为\\n''' 否则win调试通过,linux 不停报错
问题3:创建表的时候一定不要去重,数据量少导入可以,真实3000万数据,大半天都没有导入进去。。
其他小问题:创建表的时候 引号问题,还有中文英文括号问题,这两个小问题调试了好久,数据规范要注意。