mysql 百万数据更新_mysql数据库百万级以上数据,如何对其进行边查询变更新?...

展开全部

有时候我们62616964757a686964616fe59b9ee7ad9431333433653362会不小心对一个大表进行了 update,比如说写错了 where 条件......

此时,如果 kill 掉 update 线程,那回滚 undo log 需要不少时间。如果放置不管,也不知道 update 会持续多久。

那我们能知道 update 的进度么?

实验

我们先创建一个测试数据库:

28e9cb32a2b4e938cacf67136507d839.png

快速创建一些数据:

95d04f3fe877158ac0f5ec4ed79fdf91.png

连续执行同样的 SQL 数次,就可以快速构造千万级别的数据:

e3bf12c3ac7891409bdef002c75692dc.png

查看一下总的行数:

e1e5b9582042d4048e84305db5e688cd.png

我们来释放一个大的 update:

63306689c856b91d56fedabd849a0e62.png

然后另起一个 session,观察 performance_schema 中的信息:

5f400781e5cde693962a0e1652d08a18.png

可以看到,performance_schema 会列出当前 SQL 从引擎获取的行数。

等 SQL 结束后,我们看一下 update 从引擎总共获取了多少行:

可以看到该 update 从引擎总共获取的行数是表大小的两倍,那我们可以估算:update 的进度 = (rows_examined) / (2 * 表行数)

79079221de0633da46e9bc575463dc1d.png

💡小贴士

information_schema.tables 中,提供了对表行数的估算,比起使用 select count(1) 的成本低很多,几乎可以忽略不计。

那么是不是所有的 update,从引擎中获取的行数都会是表大小的两倍呢?这个还是要分情况讨论的,上面的 SQL 更新了主键,如果只更新内容而不更新主键呢?我们来试验一下:

1f2824f071c52e220f15325831c42ac6.png

等待 update 结束,查看 row_examined,发现其刚好是表大小:

2f589653ad9ffaf57cce0b5ecba7f467.png

那我们怎么准确的这个倍数呢?

一种方法是靠经验:update 语句的 where 中会扫描多少行,是否修改主键,是否修改唯一键,以这些条件来估算系数。

另一种方法就是在同样结构的较小的表上试验一下,获取倍数。

这样,我们就能准确估算一个“不小心”执行的大型 update 的进度了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MySQL数据库中存在上百万数据时,数据库优化变得尤为重要。以下是一些可以考虑的优化方法: 1. 索引优化:对经常查询字段创建索引,以加快数据检索和过滤的速度。同时,避免创建过多无用的索引,以减少数据插入和修改时的开销。 2. 查询优化:使用合适的查询语句,避免不必要的全表扫描。可以使用索引、分页查询等方式来提高查询性能。 3. 分区和分表:将数据按照不同条件进行分区或者分表存储,可以减少单个表中数据的数量,提高查询和操作的效率。 4. 缓存优化:使用缓存技术,如Redis或Memcached,在查询频繁但数据更新不频繁的场景下,减少对数据库的访问,提高响应速度。 5. 内存调优:通过调整和优化MySQL的内存设置,如缓冲池大小、缓存大小等,可以加快数据读写速度,提升性能。 6. 查询缓存:MySQL自带的查询缓存可以将查询结果缓存在内存中,提高查询效率。但在高并发环境下,可能会导致缓存失效率较高,需要慎重使用。 7. 数据库分离:将数据库的读写分离,使用主从复制的方式,可以提升并发读取的能力。 8. 避免使用SELECT *:尽可能指定需要查询字段,避免不必要的数据传输和资源消耗。 9. 定期清理无用数据:定期清理过时或无用的数据,以减少数据量,提高数据库的维护和查询效率。 总之,针对MySQL百万数据的优化,需要综合考虑索引、查询、缓存、内存等方面,通过合理的配置和优化手段,使数据库能够更高效地处理大量数据,提升系统的整体性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值