记录一次mysql处理百万数据

最新推荐文章于 2023-09-20 16:35:32 发布

王牌程序员

最新推荐文章于 2023-09-20 16:35:32 发布

阅读量371

点赞数 1

分类专栏： python 文章标签： mysql python

本文链接：https://blog.csdn.net/zfsn_zh/article/details/110225057

版权

python 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

这一年996搞项目，一直没时间写，项目告一段落，抽空记录一下。

大概情况，一张400万的表，一张300万表，每张表20多个字段，2张表抽取数据，根据业务整合。插入新表。

临时被安排过来搞这个，原来想法使用存储过程处理，同事已经用python处理数据，效率太慢。奈何没接触过python，没办法，

开始修改同事的python。拿到代码，思路是使用多线程取数据，业务处理之后塞回数据库，不过还是慢，整体下来要半个小时。

还没想好，后面有进展再更新吧

需要调整的数据库参数

1、关闭binlog
2、新增或修改MySQL安装目录下的my.ini文件中的[mysqld]段中的 max_allowed_packet = 1024M

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

王牌程序员

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

MySQL百万数据优化总结一

m0_67265464的博客

07-28

1503

为什么使用unionall因为union操作会对结果去重且排序，所以从速度来说，unionall会更胜一筹。

mysql百万数据查总数都特别慢_mysql百万级数据分页查询缓慢优化方法

weixin_39598472的博客

02-06

3157

参考网址1：https://www.cnblogs.com/nightOfStreet/p/9647926.html -------------修改需求一、与产品商讨修改需求后端工程师，在接到分页list需求的时候，内心是这样的画面是这样的代码大概是这样的select count(id) from … 查出总数select * from …. limit m,n ...

参与评论您还未登录，请先登录后发表或查看评论

mysql处理百万级数据优化

03-26

处理百万级以上的数据查询提高效率的办法，处理百万级以上的数据查询提高效率的办法！！！

mysql处理百万条数据库_如何处理百万条数据写入到数据库

weixin_39593460的博客

01-19

668

用 shell 将一千万行文件切分成 100 个文件,这样每个文件有10万行,具体做法可以 man split。写 php 脚本,脚本内容是读一个文件,然后输出有效的数据。注意数据格式，严格按照表中字段的顺序来写，字段之间用半角分号隔开，行之间用 \n 隔开。具体参数可配置，参见 MySQL 的 load data 命令参数。注意是 php cli 方式运行的，不要拿 Apache 或者其他 w...

MySQL官网测试数据上百万条数据sql文件

12-08

MySQL官网测试数据，sql文件，导入即可执行，提示：文件较大，考虑时间问题自己看着办。我导出sql文件300万条数据将近2小时，不容易啊！给点支持吧。

转 mysql处理百万级数据

netnetsk的专栏

03-10

266

1、应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num i...

mysql 处理百万级数据总结

zfmsa--装疯卖傻

03-26

180

1.mysql快速插入百万级测试数据 [code="java"]insert into test select * from test;[/code]

百万mysql测试数据

01-04

这个压缩包文件可能包含了百万级别的记录，用于创建一个大规模的数据库环境，以便测试在高负载情况下的MySQL性能。测试数据通常包括各种类型的数据，如字符串、数字、日期等，以确保测试的全面性。在实际应用中，...

mysql百万数据写入_快速写入百万数据

weixin_40006963的博客

01-28

2027

1.快速写入百万数据mysql原生操作mysql原生操作写入500万数据!# 建库create database mydb01;# 使用库use mydb01;# 建表create table tbl_students(id int primary key auto_increment,name varchar(20) unique,gender varchar(6),email varchar(...

【MYSQL】第一篇 Mysql如何处理百万级别的数据

m0_65984648的博客

03-17

197

建立唯一性索引

mysql 百万级数据测试

07-28

使用命令行数据库将 employees.sql文件导入。例如：mysql -uroot -proot -Dtest<employees.sql

mysql使用

weixin_30635053的博客

12-10

1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t wh...

mysql处理百万级别数据库_百万级别并发数据库mysql-MySQL如何处理数百万的数据连接...

weixin_28786293的博客

01-28

837

1、应该尽量避免在where子句中使用！ =或2、优化查询，尽可能避免全表扫描，并首先考虑对where和orderby中涉及的列进行索引。应尽量避免where子句中字段的空值判断，否则会导致引擎放弃索引并执行全表扫描，如：从t中选择id，其中num为NULL您可以在num上设置默认值0，以确保表中的num列没有空值，然后查询：mysql数据库隔离级别。从t中选择id，其中num=0尽量避免使用或在...

mysql百万数据处理_Itarvin - 如何优雅的而又快速的处理百万级MySQL数据

weixin_39565300的博客

02-28

342

很多时候，我们老大作为专业的前端。也会要求更为优雅的数据处理和优雅的代码。主要用于处理百万级数据交互使用。这段程序主要考虑不修改服务器配置，和考虑不造成服务器负荷过载。直接上代码吧。前端页面js代码：删除前一个月订单',$(".deletes").click(function(){varid=$(this).attr("id");if(isNaN(id)){varvalues="";varg...

从 MySQL 读取 100w 数据进行处理，应该怎么做？

qq_42003636的博客

03-09

1175

分库分表场景下，单个表的查询结果集虽然不大，但如果某个查询跨了多个库多个表，又要做结果集的合并、排序等动作，依然有可能撑爆内存；当查询百万级的数据的时候，还可以使用游标方式进行数据查询处理，不仅可以节省内存的消耗，而且还不需要一次性取出所有数据，可以进行逐条处理或逐条取出部分批量处理。如果没有流式查询，我们想要从数据库取 100w 条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计的不好，就无法执行高效的分页查询。流式查询：内存会保持稳定，不会随着记录的增长而增长。

mysql一百万数据怎么分页,mysql百万条数据分页,该怎么处理

weixin_28876083的博客

03-17

128

当前位置:我的异常网» MySQL»mysql百万条数据分页,该怎么处理mysql百万条数据分页,该怎么处理www.myexceptions.net网友分享于：2013-10-22浏览：46次mysql百万条数据分页我的ecs_goods表中有300万数据我要进行分页explain SELECT goods_id, goods_name, goods_type, goods_sn, s...

面试官：从 MySQL 读取 100w 数据进行处理，应该怎么做？问倒一大遍！

Java技术栈，分享最主流的Java技术

03-02

1396

背景大数据量操作的场景大致如下：数据迁移数据导出批量处理数据在实际工作中当指定查询数据过大时，我们一般使用分页查询的方式一页一页的将数据放到内存处理。但有些情况不需要分页的方式查询数据或分很大一页查询数据时，如果一下子将数据全部加载出来到内存中，很可能会发生OOM(内存溢出)；而且查询会很慢，因为框架耗费大量的时间和内存去把数据库查询的结果封装成我们想要的对象（实体类）。举例：在业务系统需要从 MySQL 数据库里读取 100w 数据行进行处理，应该怎么做？做法通常如下：常规查询：一

mysql百万数据分页_mysql百万条数据分页,该怎么处理

weixin_27427397的博客

01-28

288

mysql百万条数据分页我的ecs_goods表中有300万数据我要进行分页explain SELECT goods_id, goods_name, goods_type, goods_sn, shop_price, is_on_sale, is_best, is_new, is_hot, sort_order, goods_number, integral, (promote_price &gt...

终于上线使用了：MySQL上面百万数据excel导出功能