开始认人真真写博客,复习了!
新项目要把txt文件导入到mysql数据库中,文件中大约百万级数据量,选用的是mysql中的LOAD DATA 语法。此语法在导入大数据量的数据时性能极好,但导入少数据量的数据时性能差,内部原理后期探讨,先看语句。
LOAD DATA LOCAL INFILE 'D:\\test.txt' INTO TABLE test
FIELDS TERMINATED BY ','
ENCLOSED BY '\"'
LINES TERMINATED BY '\\r\\n'
IGNORE 1 ROWS
其中
TERMINATED BY 以什么字符作为分隔符
ENCLOSED BY 字段闭合标签
IGNORE 1 ROWS 忽略特定行数,CSV文件可以忽略掉第一行标题
语句就是以上形式,语句的性能我没有真是测过,其他同事测过,性能可以参考
https://blog.csdn.net/Milogenius/article/details/95733175
过程中遇到的问题可以参考