如何应对MySQL单表数据量过大:垂直分表与水平分表策略解析

话接上回,单表最大数据建议两千万,那如果开发一个项目,预计注册量达到一个亿怎么办。

单表内放这么多数据,MYSQL底层B+树的层级结构就可能会变得很高,磁盘io次数变多,性能会大幅度降低。所以考虑数据库分表。

这里的分表分为垂直分表和水平分表两种。

垂直分表:

原理比较简单,一般就是把某几列拆成一个新表,这样原来的表就小了,拆几列出去,那数据表里的每行数据就会变少,单个16K数据页就能放入越多的行数,这样发生查询时需要的数据页就会越少,那磁盘IO也会越少,所以性能就会越快。

水平分表:

水平分表有好几种做法,但不管是哪种,本质上都是将原来的user表变成USER0到user_n这样的N张小,每一张小表里只保存了一部分数据,一般是500万到2000万。

第一种:根据ID取模分表

假设我们一共分了两张表,分别是user_0和user_1,此时模等于2,我们将输入的ID与模进行求余数操,如ID=2,4,6的时候,会被写到user_0这张表。ID=1,3,5和2取模得到1,于是就能知道应该写到user_1这张表里。

优点:

        比较简单

        读写数据都可以很均匀的分摊到每个分表上

缺点:如果想要扩展表的个数,比如从两张表变成3张表,那同样还是ID=3的数据,以前3和2取模得到1,所以ID=3的数据会放在USER1表里,现在3和3取模得到0,那就要放在USER0这张表里,跟原来的USER1就对不上了,这就需要考虑数据迁移

第二种:根据ID范围分表

假设我们每张分表都能存放500万条数据,那user_0就存放ID为1~500万的数,user_1就存放ID在500万到1000万之间的数据。假设现在有条数据,ID=3000万要读写条数据,就需要将3000万除以500万得到6,那就可以知道这条数据属于user_6一表,于是就去读写user_6表就行了。

优点:根据ID范围去分表就能很好的解决ID取模时数据表的扩展问题。

缺点:假设新注册玩家的ID是不断加一的,那么在某段时间内,ID会集中在某个分片范围内,比如在4000万到6000万的范围,数据会不断写入这个特定的分表中,并没有起到分摊数据读写压力的效果,这就是所谓的读写热点问题。解决读写热点问题最简单的方案就是让ID变得随机,这样ID就能随机分散到所有表上,分摊读写压力。

 推荐一位优秀的up主:小白debug的个人空间-小白debug个人主页-哔哩哔哩视频 (bilibili.com)

  • 5
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 当 MySQL 数据库中的单个数据量变得过大时,有以下几种解决方法: 1. 分表:将一个拆分为多个,并在应用程序中维护数据的一致性。 2. 使用分区:将数据按照某个字段值分成多个区间,每个区间存储在不同的文件中。 3. 使用缓存:在应用程序中使用缓存技术来缓存经常使用的数据,减少对数据库的请求。 4. 使用数据库集群:使用数据库集群技术来水平分布数据,减少单个数据库的压力。 5. 使用预处理技术:对数据进行预处理,提高数据的查询效率。 以上是一些常见的解决方法,但并不适用于所有情况,根据实际情况选择合适的解决方法是非常重要的。 ### 回答2: 当MySQL数据库单表数据量大时,可以采取以下几个解决方案: 1. 数据库优化:对数据库进行优化可以提高数据库的性能。通过分析查询语句、索引使用、结构设计等方面,优化数据库的性能和效率。 2. 分区:使用MySQL的分区特性,将大切分成多个小,根据某个字段的值将数据分散存储在不同的中。这样可以减少查询的数据量,提高查询性能。 3. 垂直拆分:将大按照关联性进行拆分,建立多个相关联的小。可以提高查询的效率,并减少数据冗余。 4. 水平拆分:将大按照某个字段的值进行拆分,将数据分布在不同的中。可以提高查询性能,并实现更好的负载均衡。 5. 数据归档:将历史数据或不常使用的数据进行归档,可以将其移动到其他或者存储介质中。这样可以减少的大小,提高查询的性能。 6. 使用分布式数据库:如果以上措施无法满足需求,可以考虑使用分布式数据库系统,将数据分布在多个节点上,提高数据库的处理能力和稳定性。 综上所述,当MySQL数据库单表数据量大时,可以通过数据库优化、的分区、拆分和归档、以及使用分布式数据库等措施来解决问题。根据具体的业务需求和数据库性能瓶颈,选择合适的解决方案来提高数据库的性能和稳定性。 ### 回答3: 当MySQL数据库的单个数据量大时,可以采取以下措施来解决这个问题: 1. 分区:通过将大按照一定的规则拆分成多个小,可以减小查询和维护的负担。分区可以根据时间、范围、列等方式进行分区,使得查询更加高效。 2. 垂直拆分:将单个中的字段进行拆分,将热点数据和非热点数据分开存储。热点数据可以放在单独的中,提高查询速度,非热点数据可以放在另外的中。 3. 水平拆分:将单个中的数据按照某种规则拆分成多个,每个中只保存部分数据。可以根据某个字段的取值范围或者哈希值进行拆分,以减小单个数据量。 4. 使用索引:合理地创建索引可以加快查询速度,提高数据库的性能。可以根据查询的频率和方式创建适合的索引。 5. 优化查询语句:对查询语句进行优化,使用合适的索引,避免全扫描和复杂的连接操作,提高查询效率。 6. 数据压缩:对于一些稀疏的数据或者文本类型的数据,可以采用数据压缩的方式来减少数据库的存储空间。 7. 数据归档:将一些长时间不再使用的历史数据归档到其他的存储介质中,减小数据库数据量。 8. 增加硬件资源:如果以上方法都无法满足需求,可以考虑增加硬件资源,比如增加内存、升级硬盘等,提高数据库的处理能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值