php+mysql实现数据分批插入

上周需要将云端的数据有条件的录入到mysql中,最开始是使用遍历数据然后一条条的插入的笨方法,结果速度慢的要死,所以又随便写了个笨方法2.0,记录一下自己菜鸟的成长历程。同时这也是在博客园的第一篇文章,目的仅仅是单纯的记录一下自己的狗屎代码,因为我是菜鸟,哈哈。。。

比如说有10001条数据,每次插入1000条,分11次插入完成,代码如下:

 

  <?php
  /**
   * Created by PhpStorm.
   * User: Soup
   * Date: 2016/12/29
   * Time: 21:04
   */
  
  $mysqli = new mysqli('localhost','root','123456','test');
 
 
 
 if ($mysqli->connect_error) {
     die('Connect Error (' . $mysqli->connect_errno . ') '
         . $mysqli->connect_error);
 }
 
 /*
  *@param $data array 要插入的数据
  *@param $each int 每次插入的条数
  */
 function batchInsert($data,$each){
 
     $num = count($data);        // 数据总数
     $step = ceil( $num/$each);  // insert执行总次数
 
 
     $j = 1;
     $s = $step;
 
     foreach ($data as $val){    // 目前仅仅是起到循环作用
         if($j > $step) break;
         $arr2 = array_slice($data, ($step - $s) * $each, $each);     // 每次取100条
         $sql = "insert into batch VALUES ";
         foreach($arr2 as $v){
             $exist = $GLOBALS['mysqli']->query("select * from batch where number = '$v' limit 1 "); // 检查要插入的数据是否已存在
             $row = $exist->fetch_array(MYSQLI_ASSOC);
             if(empty($row)){
                 $sql .= "(null,$v,now()),";     // 将sql语句拼接起来
             }
         }
         $sql = rtrim($sql, ',');
         $result =  $GLOBALS['mysqli']->query($sql);
         echo $sql,'<br>';
           $j++;
         $s--;
     }
     return $result;
 }
 
 // 先测试简单的数字插入
 for ($i = 1;$i <= 505;++$i){
     $arr[$i] = $i;
 }
 
 var_dump(batchInsert($arr,100));

复制代码

测试505条数据,每次插入100条,分6次插入完成。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值