记一次批量插入千万级(php)

最新推荐文章于 2021-04-11 07:37:37 发布
最新推荐文章于 2021-04-11 07:37:37 发布
阅读量504 收藏
点赞数
分类专栏： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xly1993/article/details/104608715
版权

业务需求:需要将某一张表内(a)的某个字段进行拆分，然后插入到一张新的表中(b)

a表数据大概有3万多条，但是对其中的字段进行拆分后大概有1000多万的数据 

（1）要防止内存被耗尽，从a表查询出来的3万多数据，按照 每组100 进行分组  php 函数 array_chunk

（2）然后循环遍历,每组100个数据，批量写成insert into () values() sql 语句，添加事务处理（防止频繁创建数据库连接，消耗资源）部分代码

 

君子小大大
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
php mysql插入1000万行_php实现mysql百万级数据插入，耗时10s左右
weixin_32420193的博客
02-19 1022
如题，最近做的一个项目，需求就是这样，写个功能模块，实现批量导入，为客服省点时间(好吧，需求就是需求)。好在插入的数据，都是些连续的数字，所以可以利用foreach循环出这些数据，然后拼接成mysql的insert语句，进行大字段的批量插入。原理就是这么个原理，当然过程中有坑，什么打开扩展限制，暂且只看逻辑方面的吧。框架的话，不是laravel，用的ci，实例代码如下：/*** @desc ...
向数据库中批量插入千万级数据
qq_30629571的博客
04-25 5863
向一个MySQL数据库中插入大量数据。 数据库可以自己创建，也可以向一个存在的数据库中插入数据 代码如下package test; import java.io.*; import java.net.SocketTimeoutException; import java.sql.*; import java.util.*; import java.util.Date; import java
你知道MySQL是如何处理千万级数据的吗？性能优化又怎样
文章中资料均可获取，有需要请添加yunduoa2019即可
09-17 504
mysql 分表思路 image 一张一亿的订单表，可以分成五张表，这样每张表就只有两千万数据，分担了原来一张表的压力，分表需要根据某个条件进行分，这里可以根据地区来分表，需要一个中间件来控制到底是去哪张表去找到自己想要的数据。 中间件：根据主表的自增 id 作为中间件（什么样的字段适合做中间件？要具备唯一性） 怎么分发？主表插入之后返回一个 id，根据这个 id 和表的数量进行取模，余数是几就往哪张表中插入数据。 注意：子表中的 id 要与主表的 id 保持一致 以后只有插入操作会用到主表
php更新千万级别数据,PHP 千万级别数据插入
weixin_39752880的博客
03-10 192
header("content-type:text/html;charset=utf-8");//设置代码执行不受时间限制set_time_limit(0);//链接数据库$con = mysqli_connect("127.0.0.1","root",‘‘,‘test‘);if(mysqli_connect_error()){die("链接错误:".mysqli_connect_error())...
php mysql插入1000万行_php插入千万条数据库脚本
weixin_29913663的博客
02-04 334
1.注意修改一下主机ip，端口，用户，密码，数据库名，si<400000改成自己设定的数据库量
mysql快速创建1000w条数据_有什么快速生成1000万条数据并插入mysql数据库的方法？...
weixin_36366711的博客
02-05 841
我用insert into插入，加for循环1000万次。但是笔记本操作起来太卡了。大神有更好的方法吗？用脚本生成数据文件，以”\t”或者”,”分割！mysql load data infile 方式通过文件导入数据！insert into肯定是不行。。。。在CLI模式下用PHP异步每分钟生成10000条数据插入,100分钟即可完成.你可以换换不同的存储引擎试试，MyISAM 要比 Innodb ...
php 2千条循环,PHP批量生成千万级数据性能测试
weixin_30538955的博客
04-11 687
这里做一些php性能的测试，获取循环生成数据的代码执行时间和消耗的内存，并用到了一些内置函数环境：PHP7.2 + Apache2.4 ，这里在php.ini中设置最大允许内存：memory_limit = 2048M，重启apache以生成1000万条数据为例echo 'PHP批量生成数据性能测试';$start_memory = memory_get_usage();$arr = array(...
MySql 快速插入千万级大数据的方法示例
09-09
总结来说，要快速插入千万级大数据，需要结合多线程读取和批量插入的策略，并根据实际情况调整数据库配置、优化索引以及合理处理数据。通过这些优化手段，可以显著缩短插入时间，提高工作效率。在实际项目中，根据...
php往mysql中批量插入数据实例教程
01-21
假如说我有这样一个表，我想往这个表里面插入大量数据 CREATE TABLE IF NOT EXISTS `user_info` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键', `name` varchar(255) NOT NULL default '' COMMENT ...
java快速插入千万级数据
05-25
java快速插入千万级数据，亲测91秒插入1700万数据！！！
PHP大批量插入数据库的3种方法和速度对比
12-19
第一种方法：使用insert into 插入，代码如下： $params = array(‘value'=>'50′); set_time_limit(0); echo date(“H:i:s”); for($i=0;$i<2000000>insert($params); }; echo date(“H:i:s”); 最后显示为：23:25:05 01:32:05 也就是花了2个小时多! 第二种方法：使用事务提交，批量插入数据库(每隔10W条提交下)最后显示消耗的时间为：22:56:13 23:04:00 ，一共8分13秒  ，代码如下： ec
php快速导入大量数据的实例方法
01-21
PHP快速导入大量数据到数据库的方法 第一种方法：使用insert into 插入，代码如下： $params = array(‘value'=>'50′); set_time_limit(0); echo date(“H:i:s”); for($i=0;$i<2000000>insert($params); }; echo date(“H:i:s”); 最后显示为：23:25:05 01:32:05 也就是花了2个小时多! 第二种方法：使用事务提交，批量插入数据库(每隔10W条提交下)最后显示消耗的时间为：22:56:13 23:04:00 ，
千万条数据批量插入数据库表
12-14
通过最简单的方式将批量数据插入数据库中，千万条记录导入时间用了100s，贴出来代码供大家参考学习。 import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import ...
Mybatis 插入一条或批量插入 返回带有自增长主键记录的实例
08-28
Mybatis 插入一条或批量插入 返回带有自增长主键记录的实例 Mybatis 是一个基于 Java 的持久层框架，它提供了对数据库的访问和操作的功能。今天，我们将分享一个关于 Mybatis 插入一条或批量插入 返回带有自增长...
PHP大批量新增数据的三种方法
u013421881的博客
05-25 2455
/*第一种：作死*/$params = array('val'=&gt;50); for($i=0;$i&lt;200000;$i++){ $connect_mysql&gt;insert($params); };/*第二种：分量插入*/$connect_mysql&gt;query('BEGIN'); $params = array('val'=&gt;'50'); for($i=0;...
Mysql千万级别数据批量插入只需简单三步
热门推荐
u011277123的博客
03-13 8万+
IT自由职业者 2017-03-05 09:40 第一步：配置my.ini文件 文件中配置 bulk_insert_buffer_size=120M 或者更大 将insert语句的长度设为最大。 Max_allowed_packet=1M Net_buffer_length=8k 保存 第二步：查看设置的参选有没有生效. Mysql > SHOW VARIABLES;
php+mysql中迅速插入百万条测试数据的方法(12s)
尹子昊专栏
03-23 7435
1.php代码 <?php $t=mktime(); set_time_limit(1000); $myFile="c:/insert.sql"; $fhandler=fopen($myFile,'wb'); if($fhandler){ $i=0; while($i<1000000)//1,0000,000 { $i++; $sql="$i\t'bb'"; fwrite
mysql批量插入千万级数据
最新发布
09-14
您可以使用MySQL的LOAD DATA INFILE语句来进行批量插入千万级数据。下面是一个简单的示例： 1. 准备数据文件：将您的数据保存到一个文本文件中，每一行代表一条数据，字段之间用制表符或逗号分隔。 2. 创建一个表：根据您的数据结构创建一个匹配的表。 3. 使用LOAD DATA INFILE语句：执行以下语句将数据文件中的数据批量插入到表中。 ```sql LOAD DATA INFILE '/path/to/your/data_file.txt' INTO TABLE your_table FIELDS TERMINATED BY '\t' -- 根据实际情况选择分隔符 LINES TERMINATED BY '\n' -- 根据实际情况选择行分隔符 IGNORE 1 LINES; -- 如果文件第一行是标题，可以使用此选项忽略第一行 ``` 请注意替换`/path/to/your/data_file.txt`为您的数据文件路径，`your_table`为您创建的表名，以及适当调整字段和行分隔符。 此方法可以快速地将大量数据批量插入MySQL数据库。但需要注意的是，由于批量插入操作可能会对系统资源产生较大压力，请确保您的服务器性能足够处理这些操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值