MYSQL大数据量数据删除[表直接不需要的情况][亲测]

问题描述:

        最近遇到一个问题,生产上项目某张表的数据量达到了4千多万的数据量,导致每次执行某个sql的时候数据库一直报警。

相关sql:根据某个字段删除一条数据,但是该字段不是索引列,所以删除起来特别慢。

分析原因:

        1、表的数据量太大;

        2、删除依赖字段不是索引列;

解决办法分析:数据量:5千万

        是一张日志记录表,数据可以不需要了;

        1、分批删除数据:

                10【0.018s】、

                1万【0.712s】、

                10万【6.071s, 6.554s ,7.396s】、

                百万【64.821s】

        2、直接将表删除掉

                (1)TRUNCATE TABLE 表名;【时间太长不可行,直接报错】

                (2)创建临时表、修改大数据量表名为历史表、将临时表修改为使用表;

                        【可行,修改表名时间不到1秒,0.079秒左右】

                (3)drop表 【大概一秒左右】

总结

        1、大数据量的表清除数据:

                (1)创建临时表、修改大数据量表名为历史表、将临时表修改为使用表;

                (2)历史表的清除:drop表

                (3)创建表时给相关慢sql的条件字段加索引:

        2、相关sql:

  修改表名:ALTER TABLE 原表名 RENAME 新表名;

  添加索引:ALTER TABLE 表名 ADD INDEX 索引名  (字段名);

  DROP表:DROP TABLE 表名;

  TRUNCATE表:TRUNCATE TABLE 表名;

  DELETE数据:

       delete from 表名 LIMIT 要删除的条数;

       delete from 表名 WHERE 索引列< 要删除的数据最大值  LIMIT 要删除的条数

引申:

        部分数据清除:

                (1)判断要删除的数据多还是要留下的数据多;

                (2)删除的数据多:

                                将要留下的数据备份到临时表;

                                再按照不需要表的方案处理;

                                最后在将临时表的数据插入到新建的表中;

                (3)留下的数据多:

                                分批删除。可根据上面给的分批方案作为依据,在自己的环境上进行尝试,每次操作的时间不能太长,尽量保持在1秒以内,以保证相关业务可以正常进行。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MySQL数据很大的删除慢主要是由于以下几个原因: 1. 索引问题:如果没有恰当的索引,那么删除操作需要搜索整个才能找到要删除的行,这将导致删除操作的耗时增加。解决方法是为添加合适的索引,使删除操作可以快速定位到要删除的行。 2. 外键约束:如果中存在外键约束,那么在删除行之前,需要检查该行是否被其他所引用。如果被引用,则需要删除引用的行,这会导致删除操作的耗时增加。解决方法是在进行删除操作时,临时关闭外键约束检查,或者更改外键关系,以避免进行额外的关联查询。 3. 日志记录:MySQL在执行任何修改操作时,会将其写入日志中,以便在需要时进行回滚或恢复操作。当数据较大时,写入大的日志会导致删除操作变慢。解决方法是可以考虑减少或调整MySQL的日志记录设置,或者考虑将日志文件放在独立的存储设备上以提高性能。 4. 事务处理:如果删除操作包含在一个事务中,那么在事务提交之前,所有删除的行都需要被记录在事务日志中,这会增加删除操作的时间。解决方法是将删除操作分解成多个较小的事务,或者禁用事务处理。 5. 硬件性能:MySQL服务器的硬件性能也会对删除操作的速度产生影响。如果硬件资源不足,例如CPU、内存或磁盘I/O等,都会造成删除操作的延迟。解决方法是可以考虑升级硬件,增加服务器的性能。 综上所述,如果MySQL数据很大的删除慢,可以通过添加索引、优化外键约束、调整日志记录设置、优化事务处理或提升硬件性能等方式来改善删除操作的速度。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值