海量数据的插入时间对比

最新推荐文章于 2022-07-25 10:16:53 发布

Devying

最新推荐文章于 2022-07-25 10:16:53 发布

阅读量739

点赞数 1

分类专栏： MYSQL PHP

本文链接：https://blog.csdn.net/ying1989920/article/details/49420515

版权

PHP 同时被 2 个专栏收录

12 篇文章 0 订阅

订阅专栏

MYSQL

3 篇文章 0 订阅

订阅专栏

这篇文章主要介绍了PHP大批量插入数据库的3种方法和速度对比,3种方法分别使用普通insert语句、insert into语句和事务提交,需要的朋友可以参考下

第一种方法：使用insert into 插入，代码如下：

 
    
         $params 
          =  
         array 
         (‘value 
         '=>' 
         50′); 
        
 
         set_time_limit(0); 
        
 
         echo 
          date 
         (“H:i:s”); 
        
 
         for 
         ( 
         $i 
         =0; 
         $i 
         <2000000; 
         $i 
         ++){ 
        
 
         $connect_mysql 
         ->insert( 
         $params 
         ); 
        
 
         }; 
        
 
         echo 
          date 
         (“H:i:s”); 
        
 
  

最后显示为：23:25:05 01:32:05 也就是花了2个小时多!

第二种方法：使用事务提交，批量插入数据库(每隔10W条提交下)最后显示消耗的时间为：22:56:13 23:04:00 ，一共8分13秒，代码如下：

 
         echo 
          date 
         (“H:i:s”); 
        
         $connect_mysql 
         ->query(‘BEGIN'); 
        
         $params 
          =  
         array 
         (‘value 
         '=>' 
         50′); 
        
         for 
         ( 
         $i 
         =0; 
         $i 
         <2000000; 
         $i 
         ++){ 
        
         $connect_mysql 
         ->insert( 
         $params 
         ); 
        
         if 
         ( 
         $i 
         %100000==0){ 
        
         $connect_mysql 
         ->query(‘COMMIT'); 
        
         $connect_mysql 
         ->query(‘BEGIN'); 
        
         } 
        
         } 
        
         $connect_mysql 
         ->query(‘COMMIT'); 
        
         echo 
          date 
         (“H:i:s”);

第三种方法：使用优化SQL语句：将SQL语句进行拼接，使用 insert into table () values (),(),(),()然后再一次性插入，如果字符串太长，

则需要配置下MYSQL，在mysql 命令行中运行：set global max_allowed_packet = 2*1024*1024*10;消耗时间为：11:24:06 11:25:06;

插入200W条测试数据仅仅用了1分钟!代码如下：

 
    
 
   
 
         $sql 
         = “insert into twenty_million (value) values”; 
        
 
         for 
         ( 
         $i 
         =0; 
         $i 
         <2000000; 
         $i 
         ++){ 
        
 
         $sql 
         .=”('50′),”; 
        
 
         }; 
        
 
         $sql 
          =  
         substr 
         ( 
         $sql 
         ,0, 
         strlen 
         ( 
         $sql 
         )-1); 
        
 
         $connect_mysql 
         ->query( 
         $sql 
         ); 
        