Mysql单表数据500万是否一定要分库分表？

最新推荐文章于 2023-04-23 10:57:05 发布
最新推荐文章于 2023-04-23 10:57:05 发布
阅读量2.2k 收藏 4
点赞数 8
分类专栏： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40757126/article/details/115677162
版权

总是听人说单表500w一定要分库分表，上千万的数据查询一定慢，没有场景的前提，都是扯淡的，下面做个小测验。

  1. 数据库：mysql8.0.20

  2. 系统：win10

  3. 数据构建：数据构建地址
    注:我将索引user_id去除了,添加了user_name和phone索引。

  4. mysql配置如下：
    在这里插入图片描述
    mysql配置全是安装后默认的，关键参数innodb_buffer_pool_size为128M.关于InnoDB缓冲池大小配置请参考官网:配置InnoDB缓冲池大小

  5. 数据条数：13442974 在这里插入图片描述查询全部count耗时377s。

  6. 数据和索引长度分别是：1.41 GB 1.09 GB

  7. 树的高度:3
    win如何查看树的高度参考:WINHEX查看innodb的BTree高度

以上是数据说明，下面开始验证数据：
在这里插入图片描述
数据1300多万,innodb_buffer_pool_size为128M的配置情况下，使用索引user_name查询数据耗时0.021s(本地测试不存在网络开销)。查询count使用了6-7分钟,如果全表limit其中的数据Navicat直接卡死。在未指定场景下，几千万数据一定查询慢或者一定要分库分表的,请自己手动尝试下。再比如业务需要全表limit，分库分表就一定能解决这个问题吗？只会让问题更加复杂化。
在这里插入图片描述
数据和索引都存放到一个文件中,如何能根据索引快速查询，其中的脉络细节我也不知道.推荐几个文章。
InnoDB索引页的物理结构
InnoDB中的B + Tree索引结构
使用页面目录有效遍历InnoDB B + Trees

超级大拌菜
关注
  • 8
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
mysql5.7单表500万_mysql 5.7单表300万数据，性能严重下降，如何破？
weixin_39724287的博客
01-19 286
环境：DB: mysql 5.7.xxOS: windows server 2012 r2CPU: E3 1220-V5内存: 4G。数据库配置(基本上是默认配置)：join_buffer_size = 128Msort_buffer_size = 2Mread_rnd_buffer_size = 2Minnodb_buffer_pool_size = 128M表现：有个表service_log，...
MySQL单表数据不要超过500万行?真的假的？
梦~'
06-07 1173
今天，探讨一个有趣的话题：MySQL 单表数据达到多少时才需要考虑分库分表?有人说 2000 万行，也有人说 500 万行。那么，你觉得这个数值多少才合适呢? 　　 　　曾经在中国互联网技术圈广为流传着这么一个说法：MySQL 单表数据量大于 2000 万行，性能会明显下降。事实上，这个传闻据说最早起源于百度。具体情况大概是这样的，当年的 DBA 测试 MySQL性能时发现，当单表的量在 2000 万行量级的时候，SQL 操作的性能急剧下降，因此，结论由此而来。然后又据说百度的工程师流动到业界的其.
为什么说MySQL单表数据不要超过500万行
12-16
今天，探讨一个有趣的话题：MySQL 单表数据达到多少时才需要考虑分库分表？有人说 2000 万行，也有人说 500 万行。那么，你觉得这个数值多少才合适呢？ 曾经在中国互联网技术圈广为流传着这么一个说法：MySQL 单表数据量大于 2000 万行，性能会明显下降。事实上，这个传闻据说最早起源于百度。具体情况大概是这样的，当年的 DBA 测试 MySQL性能时发现，当单表的量在 2000 万行量级的时候，SQL 操作的性能急剧下降，因此，结论由此而来。然后又据说百度的工程师流动到业界的其它公司，也带去了这个信息，所以，就在业界流传开这么一个说法。 再后来，阿里巴巴《Java 开发手册》提出单表
mysql什么情况需要分库_一、为什么需要分库分表
weixin_31749595的博客
02-08 483
核心思想：a)使用 41bit 作为毫秒数，可以使用 69 年b)10bit 作为机器的 ID(5bit 是数据中心，5bit 的机器 ID)，支持 1024 个 节点c)12bit 作为毫秒内的流水号(每个节点在每毫秒可以产生 4096 个 ID)d)最后还有一个符号位，永远是 0。代码：snowflake.SnowFlakeTest优点：毫秒数在高位，生成的 ID 整体上按时间趋势递增；不依赖...
炸锅了，MySQL表500W行，居然有人不做分区？
IT邦德
05-07 7725
表分区，是指根据一定规则，将数据库中的一张表分解成多个更小的，容易管理的部分，本文做了详细的说明
软件架构-mysql终级解决方案分库分表.docx
10-26
今天，我们一起讨论 sharding-Sphere，以及数据库相关的分库分表的初体验，了解为什么要分库分表，分库分表有哪些方案，分库分表如何做到永远都不需要做扩容的方案。 为什么要分库分表？之前说过为什么要进行分布式...
mysql 单机数据库优化的一些实践
09-10
随着数据量的增长，可能需要考虑分库分表等分布式策略。在面试中，大公司往往会从单机数据库优化开始，逐渐深入到更复杂的数据库架构优化问题。以下是一些针对MySQL单机数据库的优化实践： 1. **表结构优化** - **...
MySQL500w去重_Mysql数据过了500W如何优化？月薪从5K到25K
weixin_39964660的博客
01-26 259
很多系统设计的时候没有考虑到数据的暴涨，后期真爆了，抓瞎。。。本文仅提供一些优化思路。都是个人实战的总结注：目前本人未接触过几十亿数据量级处理，所以真要玩这个级别的，我的这些小把戏估计就没用了，请自行斟酌。1，优化你的查询Sql绝大部分性能问题是查询效率低，那么首先找出你的sql代码，explain一下吧。什么？explain不知道是什么？？问度娘去！另外，相关优化技巧很多，难度不大，自己百度去吧...
mysql 500万数据库_MySQL 500万的单表性能
weixin_31444279的博客
01-21 1053
上次谈了单表千万会变慢的问题，从理论来说找不到变慢的利用。全表查询，当然会越大越慢啊！通过主键查询，基本上是3次索引IO，外加1次行IOMYISAM 是3+1次 INNODB是3次通过二级索引MYISAM是3+1次，innodb是3+3次 (二级索引+主键索引)插入和更新 MYISAM 堆表结构，插入时间不会随数据量增长而增长。INNODB 就会，因为它是有序的，必须进行索引分裂。下面建表测试5...
分布式mysql分库分表_有了分布式数据库，是不是就不需要分库分表了？
weixin_32843345的博客
02-03 387
还需要，只是变得更隐蔽了。分库分表或者 sharding 的本质是摩尔定律的失效，单一节点的计算能力无法管理所有的应用状态。由于在多个节点上维护同一份状态并且保证彼此一致的成本太高，所以需要设计一组策略，把应用数据分成若干份，让每一份数据路由到不同的节点进行处理。这里没有太多技巧。研究过 paxos/raft 就会知道在不同节点间维持状态一致性需要付出多大的成本。sharding 机制引入了数据分...
mysql5.7单表500万_mysql,_mysql 5.7单表300万数据，性能严重下降，如何破？，mysql - phpStudy...
weixin_39610488的博客
01-19 80
mysql 5.7单表300万数据，性能严重下降，如何破？环境：DB: mysql 5.7.xxOS: windows server 2012 r2CPU: E3 1220-V5内存: 4G。数据库配置(基本上是默认配置)：join_buffer_size = 128Msort_buffer_size = 2Mread_rnd_buffer_size = 2Minnodb_buffer_pool_...
mysql:单表1千万数据,未来1年还会增长多500万,性能比较慢,说下你的优化思路?
重燃小窗
05-07 561
针对这个问题分为两种情况进行分析 分库分表 不分库分表 不分库分表情况下 软优化 数据库参数调优 分析慢查询SQL语句,分析执行计划,进行sql改写和程序改写 优化数据库索引结构 优化数据表结构优化 引入NOSQL和程序架构调整 硬优化 提升系统硬件(更快的IO、更多的内存):带宽、CPU、硬盘 分库分表情况下 根据业务情况而定,选择合适的分表策略 先看只分表是否满足业务的需求和未来增长 数据库分表能够解决单表数据量很大的时,数据查询的效率问题 无法给数据库的并发操作带来效率上的
数据量达到1000w或以上使用分库分表提升数据库操作性能
zouyang920的博客
12-10 2118
数据切分根据其切分类型，可以分为两种方式：垂直（纵向）切分和水平（横向）切分 1.ShardingSphere-Jdbc ShardingSphere-Jdbc定位为轻量级Java框架，在Java的Jdbc层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，可理解为增强版的Jdbc驱动，完全兼容Jdbc和各种ORM框架 2、MySQL主从复制 docker配置mysql主从复制 1）创建主服务器所需目录 mkdir -p /usr/local/mysqlData/master/cnf mkdi
为什么超过500w行（2000w行）就是大表
自救 唯有自强
10-29 1145
大表？why
数据库设计与优化：MySQL8如何应对500万订单表的挑战
xxxzzzqqq_的博客
04-23 681
InnoDB是MySQL的默认引擎，具有较好的事务处理能力和崩溃恢复能力。当订单表的数据量非常大时，可能会对查询性能产生影响。需要注意的是，删除数据会对数据库的性能产生影响。对于订单表来说，InnoDB是一个更好的选择，因为它支持事务处理和行级锁定，可以确保订单数据的完整性和一致性。如果需要查询大量数据，可以使用LIMIT子句限制返回的记录数量，以避免影响查询性能。查询数据的方法和常规的SQL查询语句相同。删除数据的方法和常规的SQL删除语句相同。修改数据的方法和常规的SQL更新语句相同。
MySQL分表时机：100w？300w？500w？都对也都不对！
weixin_56712358的博客
05-04 652
导读 以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。 如果此时，我们才去做分表，可能已经太晚了，为什么呢？ 我以最典型的应用场景：用户筛选功能，以查询年龄在18到24岁的100位女性用户为例： 在单表的情况下，我们的SQL是这么写的： SELECT * FROM user WHERE age >= 18 AND age <= 2
单表日增500万条数据，如何分表 mysql
最新发布
06-13
对于单表日增500万条数据，可以考虑使用分表来解决单表数据量过大的问题，具体的分表方式有以下几种： 1. 按照时间分表：可以按照日期或者时间段来分表，比如按照年、月、日、小时等时间段来进行分表，这样可以将数据按照时间段分散到不同的表中，降低单表数据量，同时也方便查询和维护。 2. 按照业务模块分表：可以按照业务模块来进行分表，比如按照用户、订单、商品等业务模块来分表，将不同业务的数据分散到不同的表中，这样可以提高查询效率，同时也便于维护。 3. 按照哈希分表：可以按照某个字段的哈希值来进行分表，将相同哈希值的数据分散到同一个表中，这样可以均匀地分散数据，避免单表数据量过大。 总的来说，分表的方式需要根据具体的业务需求和数据量情况来选择，同时还需要考虑到数据迁移、备份、查询优化等问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值