mysql 写入性能 datafile_mysql 性能优化(数据导入)

mysql数据导入性能优化(代码级别)

1. 使用preparedStatment

2. 使用批量处理，一次提交

3. mysql 批量插入数据添加参数rewriteBatchedStatements时，性能比不添加时要最高可提高10倍以上的速度。URL如下：

jdbc:mysql://%IP%:3306/%SID%?rewriteBatchedStatements=true

4. 使用load data infile

a) 使用load data infile SQL如下：

LOAD DATA LOCAL INFILE 'file/loader_data_file' INTO TABLE test_key_value CHARACTER SET utf8 FIELDS TERMINATED BY ',' ENCLOSED BY '\"' LINES TERMINATED BY '\r\n' (`key`,`value`);

1. (`key`,`value`) 为导入指定字段，若不写，默认全部导入。

2. TERMINATED BY '\r\n', 在这里要注意最后一个字段的值是否正确，有时候最后field value 是'/r'，有时候会出现只能插入一行值。

b) NULL和“NULL”的插入

在导入语句中 使用 ENCLOSED BY '\"'， 此时若文件中有NULL值，则插入数据库是NULL对象，若文件中的值是“NULL”, 则，插入数据库中的值是NULL字符串

c) 一般情况下field值在文件中使用英文逗号分割