mysql100万数据一键下载csv_使用PHP来导入包含100万条数据的csv文件,请问你最快多久能全部导入mysql 数据库?...

mysql> load data infile '/tmp/mytable.csv' into table mytable;

load data infile肯定是最快的.

如果要用PHP来做,那可以考虑开启事务,批量插入,注意避免PHP执行超时.

ignore_user_abort(true); //设置客户端断开连接时继续执行脚本

set_time_limit(0); //设置脚本最大执行时间,如果设置为0秒,则没有时间方面的限制.

//开启事务,批量插入

$db = new mysqli('127.0.0.1','user','pass','dbname',3306);

$db->query('SET AUTOCOMMIT=0');

$db->query('START TRANSACTION');

//导入CSV表格:CSV转数组

$fp = fopen('file.csv', 'r');

while( ($row = fgetcsv($fp)) !== FALSE ) {

//从文件指针中读入一行并解析CSV

$stmt = $db->prepare('INSERT INTO posts (id, post_title, post_content) VALUES (?,?,?)');

$stmt->bind_param('iss', $row[0], $row[1], $row[2]); //这里假设每行内容分别为ID,标题和内容

$stmt->execute();

//如果插入失败,改为更新

if($stmt->affected_rows == 0) {

$stmt = $db->prepare('UPDATE posts SET post_title = ?, post_content = ? WHERE id = ?');

$stmt->bind_param('ssi', $row[1], $row[2], $row[0]);

$stmt->execute();

if($stmt->affected_rows == 0) {

echo 'Import '.$row[0].' failed!'."\n";

}

}

}

fclose($fp);

//提交事务

$db->query('COMMIT'); //失败的操作已经echo输出来了,不需要回滚ROLLBACK

$db->query('SET AUTOCOMMIT=1');

$db->close();

Ubuntu(i5-3230M),开启事务时,PHP5(单进程)往SQLite插入100万条记录(38MB)只用16秒,平均每秒插入62500条.在/dev/shm内存中进行测试,PHP7耗时约9秒.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值