MYSQL 单表删除1000万数据

最新推荐文章于 2023-05-10 14:25:57 发布

99云天

最新推荐文章于 2023-05-10 14:25:57 发布

阅读量2.2k

点赞数

文章标签： mysql 数据库

本文链接：https://blog.csdn.net/weixin_39252666/article/details/122332457

版权

先用 select count(*) from 查询数量

再用 DELETE FROM 删除（注意删除数据过大分批执行更快）

不要一次性的 DELETE FROM 去删除1000万条。会导致死锁，非常慢

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

99云天

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

MySQL系列：删除一个表里面的前50万行数据，怎么操作效率高？

NIO4444

06-21

981

目录 3中方法每种方法分析 3中方法第一种直接执行 delete from T limit 10000; 第二种在一个连接中循环执行 20 次 delete from T limit 500; 第三种在 20 个连接中同时执行 delete from T limit 500。每种方法分析方案一事务相对较长，则占用锁的时间较长，会导致其他客户端等待资源时间较长。方案二串行化执行，将相对长的事务分成多次相对...

MySQL 快速删除大量数据（千万级别）的几种实践方案详解

01-19

笔者最近工作中遇见一个性能瓶颈问题，MySQL表，每天大概新增776万条记录，存储周期为7天，超过7天的数据需要在新增记录前老化。连续运行9天以后，删除一天的数据大概需要3个半小时（环境：128G, 32核，4T硬盘），而这是不能接受的。当然如果要整个表删除，毋庸置疑用 TRUNCATE TABLE就好。最初的方案（因为未预料到删除会如此慢），代码如下（最简单和朴素的方法）: delete from table_name where cnt_date <= target_date 后经过研究，最终实现了飞一般(1秒左右)的速度删除770多万条数据，单张表总数据量在4600万上下，优化过程

1 条评论您还未登录，请先登录后发表或查看评论

mysql delete 千万数据操作

aeoluspu的专栏

06-08

6642

在mysql中，delete掉上千万条数据时，会造成表被锁，甚至给mysql服务器带来很大压力。这是目前mysql无法避免的一个问题，可以说是在处理大数据量方面的不足。而在业务中，又无法避免这种delete需求，因此，借用oracle的思想，写存储过程，分而治之，批量删掉。 delimiter $$ create procedure sp_del_test() begin decl

Mysql删除大量数据几种方案_MySQL 快速删除大量数据（千万级别）的几种实践方案——附源码...

weixin_33817140的博客

02-18

4440

笔者最近工作中遇见一个性能瓶颈问题，MySQL表，每天大概新增776万条记录，存储周期为7天，超过7天的数据需要在新增记录前老化。连续运行9天以后，删除一天的数据大概需要3个半小时(环境：128G, 32核，4T硬盘)，而这是不能接受的。当然如果要整个表删除，毋庸置疑用TRUNCATE TABLE就好。最初的方案(因为未预料到删除会如此慢)，代码如下(最简单和朴素的方法):delete from...

mysql进阶(十五) mysql批量删除大量数据

热门推荐

IT全栈华强工作室

08-16

6万+

mysql批量删除大量数据假设有一个表(syslogs)有1000万条记录，需要在业务不停止的情况下删除其中statusid=1的所有记录，差不多有600万条，直接执行DELETEFROMsyslogsWHEREstatusid=1会发现删除失败，因为lockwaittimeoutexceed的错误。因为这条语句所涉及的记录数太多，因此我们通过LIMIT参数分批删除，比

Mysql删除千万级数据的方案

zliang2010的专栏

04-24

1587

于是百度，nohup 吧，nohup说了后台执行，日志输出不太对，没当回事，因为上面mysql客户端执行的时候日志是正常的，于是nohup就执行了，没想到nohup之后，日志没有输出，听天由命吧。仔细分析原因，上面的执行速度慢，其实是因为where条件慢，即使加了limit也不行，数据太大，每次where的执行效率太慢，于是乎突发奇想，不如直接delete xxx where id=xxx，试了一下，这样可以。背景：有个项目跑了一年多，没注意过，结果有一天看了下，最大的mysql表居然有四千万数据了。

mysql 删除数据_Python批量删除mysql中千万级大量数据

weixin_39942108的博客

12-05

194

场景描述线上mysql数据库里面有张表保存有每天的统计结果，每天有1千多万条，这是我们意想不到的，统计结果咋有这么多。运维找过来，磁盘占了200G，最后问了运营，可以只保留最近3天的，前面的数据，只能删了。删，怎么删？因为这是线上数据库，里面存放有很多其它数据表，如果直接删除这张表的数据，肯定不行(会卡死)，可能会对其它表有影响。尝试每次只删除一天的数据，还是卡顿的厉害，没办法，写个Py...

MSSQL、MySQL 数据库删除大批量千万级百万级数据的优化

03-01

3万+

本文转自：http://hi.baidu.com/momodetang/blog/item/5c0891435fd1090f9313c617.html SQL Server上面删除1.6亿条记录，不能用Truncate（因为只是删除其中少部分数据）。经过实验，每次删除400万条要花1.5 - 3小时，而且是越到后面越慢，正常的话，需要大

MySQL中大数据表增加字段的实现思路

09-09

在MySQL数据库管理中，对大型数据表添加字段是一项需要谨慎处理的任务，因为直接使用`ALTER TABLE`语句可能会导致长时间的锁表，进而影响服务的稳定性。本文将探讨几种适用于大数据表的字段添加策略，以避免系统崩溃...

mysql删除1000万条数据

最新发布

06-13

以下是一些步骤，可以帮助你删除1000万条数据： 1. 在删除数据之前，最好备份数据库以防止数据丢失。 2. 确定要删除的数据所在的表。 3. 如果表中有索引，最好先删除索引以加快删除速度。 4. 使用DELETE语句删除...

mysql数据库删除千万条数据的操作方案

学习学习再学习

05-08

8533

项目情况是这样的，数据库中有一张计费表，这张表是随着时间无限增长的，数据会越来越多，count一下数据共有8千万条，而现在需要删除2019年之前所有的数据，大概7千多万条。表中有索引。我直接使用 DELETE FROM table_name WHERE recordtime < "2019 01-01 00:00:00" 这相当于愚蠢，因为直到连接断开，操作结果都没有返回...

mysql千万级数据怎么删除_Python批量删除mysql中千万级大量数据

weixin_39835965的博客

02-02

240

场景描述线上mysql数据库里面有张表保存有每天的统计结果，每天有1千多万条，这是我们意想不到的，统计结果咋有这么多。运维找过来，磁盘占了200G，最后问了运营，可以只保留最近3天的，前面的数据，只能删了。删，怎么删？因为这是线上数据库，里面存放有很多其它数据表，如果直接删除这张表的数据，肯定不行，可能会对其它表有影响。尝试每次只删除一天的数据，还是卡顿的厉害，没办法，写个Python脚本批量删除...

sql-truncate,delete,drop删除表数据的区别

12-23

242

TRUNCATE TABLE 删除表中的所有行，而不记录单个行删除操作。语法 TRUNCATE TABLE name 参数 name 是要截断的表的名称或要删除其全部行的表的名称。注释 TRUNCATE TABLE 在功能上与不带 WHERE 子句的 DELETE 语句相同：二者均删除表中的全部行。但 TRUNCATE T...

mysql 删除一千条数据_MySQL-恶意攻击，mysql 1千万条数据删除

weixin_42518453的博客

02-01

606

目前想到两种方法：1，直接将正常数据导出,mysqldump可以有-w (--where)参数举个例子：mysqldump --default-character-set=utf8 -hloclahost -uroot -p dbname ewan_test -w "id<=1024" > xxx.sql-- 将1024改为最后一条正常的数据的id然后再将这些数据导入。方法2(1)...

Mysql删除1000条数据多久_mysql单表删除千万条记录

weixin_39855843的博客

01-19

2153

当mysql表有大量数据要删除的时候，sql的执行时间会非常长，甚至会执行超时。比较好的办法有两种，用存储过程，一点点删除用中间表，通过导出表到新表，然后truncate原表，再重命名新表、原表的名字。存储过程伪过程drop procedure if exists huge_delete;delimiter //create procedure huge_delete()begindeclare ...

使用MYSQL对千万级用户数据进行清理

weixin_45350827的博客

05-10

319

#查询数据确认已经完成导入 SELECT * FROM `data` SELECT count( * ) FROM `data` #查询缺失值 SELECT COUNT( userid ) userid, count( itemid ) itemid, count( behavior ) behavior, count( category ) category, count( date ) date FROM `data`

mysql百万级别数据的删除操作

荣山的博客

12-12

2226

mysql百万级别数据的删除操作

mysql 大量数据删除_Mysql删除大量数据

weixin_34996026的博客

02-27

229

mysql> help delete;Name: 'DELETE'Description:Syntax:Single-table syntax:DELETE [LOW_PRIORITY] [QUICK] [IGNORE] FROM tbl_name[WHERE where_condition][ORDER BY ...][LIMIT row_count]Multiple-table synt...