快速导入数据

使用MySQL的SELECT INTO OUTFILE 、Load data file

LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中。当用户一前一后地使用SELECT ... INTO OUTFILE 和LOAD DATA INFILE 将数据从一个数据库写到一个文件中，然后再从文件中将它读入数据库中时，两个命令的字段和行处理选项必须匹配。否则，LOAD DATA INFILE 将不能正确地解释文件内容。

假设用户使用SELECT ... INTO OUTFILE 以逗号分隔字段的方式将数据写入到一个文件中：

[sql] view plain copy

1. SELECT * INTO OUTFILE 'data.txt' FIELDS TERMINATED BY ',' FROM table2;  

为了将由逗号分隔的文件读回时，正确的语句应该是：

[sql] view plain copy

1. LOAD DATA INFILE 'data.txt' INTO TABLE table2 FIELDS TERMINATED BY ',';  

如果用户试图用下面所示的语句读取文件，它将不会工作，因为命令LOAD DATA INFILE 以定位符区分字段值：

[sql] view plain copy

1. LOAD DATA INFILE 'data.txt' INTO TABLE table2 FIELDS TERMINATED BY '\t';  

下面是我用来导入导出的命令：

[sql] view plain copy

1. select * into outfile 'ddd.txt' fields terminated by ',' from dn_location;  
2. load data infile 'ddd.txt' into table dn_location2  FIELDS TERMINATED BY ',';  

通过该方法导出的数据，是将各字段（只有数据，不导出表结构）数据存在一个文件中，中间以逗号分隔，因为文件中并不包含数据库名或者表名，因此需要在导入导出的时候些明确。该方法在18分钟内导出1.6亿条记录，46min内导入6472W条记录，平均速度：8442W条/h。mysql官方文档也说明了，该方法比一次性插入一条数据性能快20倍。