mysql> load data infile '/tmp/mytable.csv' into table mytable;
load data infile肯定是最快的.
如果要用PHP来做,那可以考虑开启事务,批量插入,注意避免PHP执行超时.
ignore_user_abort(true); //设置客户端断开连接时继续执行脚本
set_time_limit(0); //设置脚本最大执行时间,如果设置为0秒,则没有时间方面的限制.
//开启事务,批量插入
$db = new mysqli('127.0.0.1','user','pass','dbname',3306);
$db->query('SET AUTOCOMMIT=0');
$db->query('START TRANSACTION');
//导入CSV表格:CSV转数组
$fp = fopen('file.csv', 'r');
while( ($row = fgetcsv($fp)) !== FALSE ) {
//从文件指针中读入一行并解析CSV
$stmt = $db->prepare('INSERT INTO posts (id, post_title, post_content) VALUES (?,?,?)');
$stmt->bind_param('iss', $row[0], $row[1], $row[2]); //这里假设每行内容分别为ID,标题和内容
$stmt->execute();
//如果插入失败,改为更新
if($stmt->affected_rows == 0) {
$stmt = $db->prepare('UPDATE posts SET post_title = ?, post_content = ? WHERE id = ?');
$stmt->bind_param('ssi', $row[1], $row[2], $row[0]);
$stmt->execute();
if($stmt->affected_rows == 0) {
echo 'Import '.$row[0].' failed!'."\n";
}
}
}
fclose($fp);
//提交事务
$db->query('COMMIT'); //失败的操作已经echo输出来了,不需要回滚ROLLBACK
$db->query('SET AUTOCOMMIT=1');
$db->close();
Ubuntu(i5-3230M),开启事务时,PHP5(单进程)往SQLite插入100万条记录(38MB)只用16秒,平均每秒插入62500条.在/dev/shm内存中进行测试,PHP7耗时约9秒.