php mysql百万级数据_PHP + MySQL百万级数据插入的优化

最新推荐文章于 2023-04-28 15:47:55 发布
最新推荐文章于 2023-04-28 15:47:55 发布
阅读量456 收藏 1
点赞数
文章标签： php mysql百万级数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33980343/article/details/113959132
版权

221347122.png

插入分析

在MySQL中插入记录所需的时间由以下因素组成，其中的数字代表大约比例:

如果每次插入一条语句都执行一条SQL语句，则需要执行除连接和关闭N次以外的所有步骤，这非常耗时. 有几种优化方法:

在每个insert语句中写入多行，批量插入以将所有查询语句写入事务中，并使用Load Data导入数据

每种方法的性能如下.

Innodb引擎

InnoDB为MySQL提供具有事务处理(提交)，回滚(回滚)和崩溃恢复功能(崩溃恢复功能)的事务安全(符合ACID)类型表. InnoDB提供行锁定(在行级别上锁定)和外键约束(FOREIGN KEY约束).

InnoDB的设计目标是处理大容量系统，其CPU利用率是其他基于磁盘的关系引擎所无法比拟的. 从技术上讲，InnoDB是置于MySQL后台的完整系统. InnoDB在主内存中建立专用的缓冲池，用于高速缓冲数据和索引.

a251e40251876541e6db51e4267a8578.png

测试环境

Macbook Air 12mid apache2.2.26 php5.5.10 mysql5.6.16

总共100W数据

插入后的大小为38.6MB(无索引)php采集新闻数据插入，46.8(有索引)

My

最低0.47元/天 解锁文章
机智啵啵鸡
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
php 100万数据,关于批量插入数据之我见（100万级别的数据，mysql）
weixin_29326909的博客
03-18 287
关于批量插入数据之我见(100万级别的数据，mysql)~~~$dsn = 'mysql:host=localhost;dbname=test';$db = new PDO($dsn,'root','',array(PDO::ATTR_PERSISTENT => true));//删除上次的插入数据$db->query('delete from `test`');//开始计时$star...
php mysql百万查询_关于MySQL百万级数据量查询的优化（PHP版）
weixin_35742845的博客
02-28 657
关于MySQL百万级数据量查询的优化(PHP版)最近在开发一个销售数据统计的网站时，客户提供的数据量在百万级以上，这些数据作为基础数据，从中提取，组合出各种类型的字段进行计算汇总，之前没有遇到过这么大的数据量。开始只是用最普通的方法来查询，当测试数据有19万条的时候，整个查询数据异常的慢，完全查询的汇总甚至要两分多，自此开始了各种优化。1. 程序的优化以最简单的一张表，需要汇总计算出二十多种数据，...
mysql批量写入100万数据_关于批量插入数据（100万级别的数据，mysql）
weixin_30523059的博客
02-05 492
方法二：控制台输出：cast : 111 ms执行时间是上面方法的5倍！方法三：该方法采用的是spring batchUpdate执行，因效率问题，数据量只有1万条！执行时间：cast : 387 ms总结：方法一和方法二很类同，唯一不同的是方法一采用的是“insert into tb (...) values(...),(...)...;”的方式执行插入操作，方法二则是“insert into ...
PHP 批处理 处理大数据 长时间处理
ld17822307870的博客
02-16 206
作者：林子木 原文链接 http://blog.csdn.net/wolinxuebin/article/details/7722424 可能本文有错误，会及时修改，请参看上面链接，查看最新更新。 最近在做一个东西，用PHP写的，由于要将数据库中的图片名字读出来，然后访问对应图片，读取图片的大小以及分辨率，重新存入数据库。数据量现在才是处理5000条的，如果不加任何设置的话，php默认最大执行时间是30秒。 所以30秒内，我只能处理700条，刚开始只能手动，七百、七...
PHP插入百万数据(亲测成功)
qq_43164547的博客
06-08 1281
PHP插入百万数据教程目录介绍新建数据库和表修改数据库配置编写代码查看效果总结 目录 介绍 在实际开发中,尤其是电商，会遇到插入百万数据这个问题，要是用for循环一条一条插入会很浪费数据库资源和效率很低,博主在这里介绍个很实用的方法,就是将sql语句拼接起来,然后再插入,这样数据就只插入一条语句的同时又能写入百万条数据了 新建数据库和表 这是SQL语句用数据库工具执行或者DOS窗口连接数据库执行都可以的 CREATE DATABASE IF NOT EXISTS yourdbname DEFAULT CHA
php+mysql一分钟插入百万数据（一）
最新发布
weixin_42746203的博客
04-28 265
百万数据插入只需一分钟
PHP MySQL批量插入数据的优化方法
JefferDevs的专栏
12-02 879
在开发时，我们会获取一个超大的数据包，而且我们必须对这些数据进行处理，再插入数据库进行统一管理，如何提高数据库insert的效率？这就是我们现在要讨论的问题；至于该过程的编程实现，方法众多，但效率是关键。。。<?php $link = mysql_connect('localhost', 'root', '') or die(mysql_error()); mysql_select_d
php+mysql中迅速插入百万条测试数据的方法
梦里逆天的博客
12-17 452
1.php代码： <?php $t=mktime(); set_time_limit(1000); $myFile="c:/insert.sql"; // 需要在c盘下新建insert.sql $fhandler=fopen($myFile,'wb'); if($fhandler){ $i=0; while($i<1000000)//1,0000,000 { $i+...
php如何解决百万留存问题,php 实现无限级读取百万数据的几种思路
weixin_29531177的博客
03-10 549
【最常用的递归方法】先给出递归数据库create table student(id int primary key comment '主键id',name varchar(50) default '会员姓名',pid int(11) not null comment '上级id')给出递归Model层代码(这里只包含读取方法，插入省略.. 自行生成):namespace app\index\mo...
PHP分批次处理百万级数据
程序员
02-03 1256
其实上面代码还是有优化的空间的，比如说用异常捕捉，以防因为某些错误而导致生成了一些临时文件又没有正常删除，还有PHPexcel的缓存设置也许能解决内存溢出问题，可以生成一个EXCEL文件多个工作表的形式，这样对于文件阅读者来说更友好。4、多个csv文件输出给用户下载是不友好的，我们还需要把多个csv文件进行压缩，最后提供给一个ZIP格式的压缩包给用户下载就好。3、以防不方便excel读取csv文件，我们需要104W之前就得把数据分割进行多个csv文件保存。
php 批量插入mysql_PHP批量插入百万数据，php mysql pdo插入百万数据
weixin_35740442的博客
01-28 663
最近做项目遇到一个小问题，php批量插入大量数据，如果使用for循环来进行插入无疑是很sb的形为，拼接成一条Sql语句，将很好的解决问题一、使用pdo进行数据插入set_time_limit(0);$dbms='mysql';//数据库类型$host='localhost';//数据库主机名$dbName='test';//使用的数据库$user='root';//...
MySQL批量插入百万条数据
热门推荐
月雨华的博客
02-27 2万+
这是个面试题，我的第一想法是foreach 一条条插入。凉凉！！！ 1.建库建表million_data  test 字段 id name time 2.由于单条循环插入肯定没有拼接一条sql语句快的，所以直接拼接一条，运行 Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1099...
php向mysql数据库插入百万级数据的两种方法效率比较
爱写代码的小朋友
04-22 2385
php向mysql数据库中插入百万级数据的两种方法的效率的测试。
关于批量插入数据之我见（100万级别的数据，mysql）
Chen Yuanshen的专栏
03-21 1168
因前段时间去面试，问到如何高效向数据库插入10万条记录，之前没处理过类似问题，也没看过相关资料，结果没答上来，今天就查了些资料，总结出三种方法： 测试数据库为mysql!!! 方法一: [java] view plain copy   public static void insert() {           // 开时时间 
MySql插入百万级数据的几种方法
yudian1991的博客
07-05 1万+
MySQL插入大批量数据, MySQL插入百万级数据, MySQL表中插入百万数据
用PHP一次写入百万条测试数据
leejianjun的博客
03-12 3642
亲测有效，本人网上各种搜资料摸索出来滴，执行效率甚至比通过navicat还要高。navicat见我另一篇博客。http://blog.csdn.net/leejianjun/article/details/78809592贴下核心代码供大家参考。1、PHP代码//添加测试数据 private function add_test_data($max=1000000){ $mo...
mysql 写入 峰值_转：MySQL大量数据插入各种方法性能分析与比较
weixin_30444111的博客
02-07 352
不管是日常业务数据处理中，还是数据库的导入导出，都可能遇到需要处理大量数据的插入。插入的方式和数据库引擎都会对插入速度造成影响，这篇文章旨在从理论和实践上对各种方法进行分析和比较，方便以后应用中插入方法的选择。插入分析MySQL中插入一个记录需要的时间由下列因素组成，其中的数字表示大约比例：连接：(3)发送查询给服务器：(2)分析查询：(2)插入记录：(1x记录大小)插入索引：(1x索引)关闭：(...
Thinkphp6百万级xlsx表格导入数据库的实现方案
温建平的博客
07-17 876
百万级xlsx表格导入数据库的实现方案
php快速生成100000条数据,快速生成100w条测试数据方法
weixin_28885435的博客
04-09 534
# 本方法修改自[mysql中迅速插入百万条测试数据的方法](http://www.jb51.net/article/30099.htm)### PHP 代码~~~ini_set('max_execution_time', '0');//mt_sql_file(300000);//30万条mt_sql(100000);//10万条function mt_sql_file($num=1){$t=ti...
PHP连接MySQL数据库并插入表单数据
本节主要讲解如何使用PHP操作MySQL数据库，特别是在处理来自HTML表单的数据插入数据库这一场景。 首先，我们需要创建一个HTML表单，让用户输入数据。如描述所示，我们可以创建一个简单的表单，包含Firstname、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值