php导入400万数据到mysql

今天要做个紧急需求,算法算出了400万的数据(只包含用户nick),需要导入定制化的数据库


mysql上32个数据库(icluster_1到icluster_32,根据nick的md5值求余然后分库的)


表结构:

CREATE TABLE `preferences` (
  `nick` char(32) CHARACTER SET gbk COLLATE gbk_bin NOT NULL,
  `enable` tinyint(1) DEFAULT '1',
  `preference` varchar(1024) DEFAULT '',
  PRIMARY KEY (`nick`)
) ENGINE=MyISAM DEFAULT CHARSET=gbk


由于分库的业务。貌似无法用mysql 的load命令或者mysqldump去导入,只能写php脚本去循环insert啦


<?php

header("content-type:text/html; charset=gbk");
set_time_limit(0);
ini_set('memory_limit', '1122M');
$con = mysql_connect('ip', 'username', 'password');
if (!$con)
    exit("fail");
mysql_query("set names 'gbk'");
$arr = array();
$file = fopen("/home/admin/personal_combo_nick_gbk", "r");
$i = 0;
while (!feof($file)) {
    $line = trim(fgets($file));
    if ($line) {
        $i++;
        $nk_md5 = md5($line);
        $signature = hexdec(substr($nk_md5, -2));
        $dbname = (1 + ($signature % 32));
        mysql_select_db("icluster_" . $dbname, $con);
        $result = mysql_query("INSERT INTO preferences(nick,enable,preference) VALUES('{$line}',1,'your data;switch:1') ON DUPLICATE KEY UPDATE enable=1,preference=concat(preference,';switch:1')");
    }
    if (in_array($i, array(1, 1000, 10000, 50000, 100000, 1000000, 3000000))) {
        shell_exec("/home/admin/mail/bin/email -V -smtp-server server_ip -smtp-port 25  -html -from-addr your_mail -from-name taozi -no-encoding -subject \"已经处理{$i}条\" your_mail <today.html");
    }
}
fclose($file);
mysql_close($con);
?>


时间还是比较长的,用了40分钟:(



  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值