数据库分库分表可扩展及数据倾斜/热点问题(二)

最新推荐文章于 2024-06-20 10:12:18 发布
最新推荐文章于 2024-06-20 10:12:18 发布
阅读量5k 收藏 5
点赞数 1
分类专栏： 架构设计 文章标签： 数据库 分库分表 range hash 数据库架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34417408/article/details/123793024
版权
本文探讨了在高并发和大数据量场景下，数据库分库分表的必要性，特别是针对数据倾斜和热点问题。文章介绍了垂直和水平分库分表策略，以及Range和Hash策略的优缺点。提出了'山前车'策略，结合Range和Hash的优点，以适应数据规模的扩展并保持负载均衡，避免数据迁移带来的影响。
摘要由CSDN通过智能技术生成

目录

数据库分库分表可扩展及数据倾斜/热点问题(二)

垂直&水平 分库分表

Range & Hash 策略

“ 山前车  策略

数据库分库分表可扩展及数据倾斜/热点问题(二)

“ 在高并发、业务数据规模庞大、数据库服务负载高 的场景中，数据库分库分表是必不可少的手段之一。如何建立高效的分配策略，确保良好的可扩展性，解决数据倾斜等问题呢？”

 

上周看到一篇关于，数据库分库分表的文章，文中除了提到垂直维度分割，还说到水平维度的两种分割策略：分别是 Range 和 Hash ，详细描述可点 这里。

https://blog.csdn.net/qq_34417408/article/details/123658625?spm=1001.2014.3001.5502

 关注我

了解本专栏 订阅专栏 解锁全文 超级会员免费看
魏小言
关注
专栏目录
订阅专栏
数据倾斜及解决办法
清平乐的技术专栏
01-17 2247
一、什么是数据倾斜 简单来说数据倾斜就是数据的key 的分化严重不均，造成一部分数据很多，一部分数据很少的局面。 举例说明： 举个 word count 的入门例子: 它的map 阶段就是形成 （“aaa”,1）的形式，然后在reduce 阶段进行 value 相加，得出 “aaa” 出现的次数。若进行 word count 的文本有100G，其中 80G 全部是 “aaa” 剩下 20G 是其...
你分库分表的姿势对么？——详谈水平分库分表
vivo互联网技术
10-25 1183
随着后端数据库的存储量级和用户的访问流量越来越大，我们免不了需要对OLTP数据库进行分库分表操作，那么选取一个的水平分库分表方案就显得非常重要。本文详细介绍在水平分库分表中常见的一些误区，以及一些常用的手法，以帮助识别可能存在的问题、少走弯路。
Sharding-JDBC 实战 - 分库分表关键问题与解决方案
最新发布
qq_33240556的博客
06-20 566
在使用 Sharding-JDBC 实现分库分表过程中，可能会遇到一些常见的关键问题。下面介绍这些问题及其解决方案。
你知道怎么分库分表吗？如何做到永不迁移数据和避免热点吗？
架构文摘
03-13 163
点击蓝色“架构文摘”关注我哟加个“星标”，每天上午 09:25，干货推送！来源：https://www.toutiao.com/i6677459303055491597前言中大型项目中，一...
对于mysql进行水平分库分表，原则是按照用户id进行hash分发，如何保证数据不倾斜，求大神解答？
u013452335的博客
09-16 1385
分表问题
spak数据倾斜解决方案
weixin_30405421的博客
02-14 193
数据倾斜解决方案 数据倾斜的解决，跟之前讲解的性能调优，有一点异曲同工之妙。 性能调优中最有效最直接最简单的方式就是加资源加并行度，并注意RDD架构（复用同一个RDD，加上cache缓存）。相对于前面，shuffle、jvm等是次要的。 6.1、原理以及现象分析 6.1.1、数据倾斜怎么出现的 在执行shuffle操作的时候，是按照key，来进行values的数据的输出、拉取和聚合的。 ...
数据库热点账户问题
我知道你是高手的博客
03-23 1081
一、热点账户的定义 在银行或者第三方支付系统的账务数据库的处理中，数据从一个账户转出，或者有数据转入一个账户，账户都会收到记账请求，并都有一个记账处理的过程。记账处理过程主要包括两部分，一是记录记账凭证，二是更新账户的余额。为了保证账户不被其他请求影响数据的准确性，在进行记账处理时，会先对账户的资源加锁，记账处理完毕后会自动释放锁。随着账务处理业务量的增大，账务数据库中的账户常常会在瞬间产生多个...
分库分表如何做到永不迁移数据和避免热点？
weixin_30509393的博客
04-25 151
一、前言 中大型项目中，一旦遇到数据量比较大，小伙伴应该都知道就应该对数据进行拆分了，有垂直和水平两种。 垂直拆分比较简单，也就是本来一个数据库，数据量大之后，从业务角度进行拆分多个库。如下图，独立的拆分出订单库和用户库。 水平拆分的概念，是同一个业务数据量大之后，进行水平拆分。 上图中订单数据达到了4000万，我们也知道mysql单表存储量推荐是百万级，如果不进行处理，mysql...
数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示
tempsitegoogle
06-27 728
本文原文连接: http://blog.csdn.net/bluishglc/article/details/7696085 ,转载请注明出处！本文着重介绍sharding切分策略，如果你对数据库sharding缺少基本的了解，请参考我另一篇从基础理论全面介绍sharding的文章：数据库Sharding的基本思想和切分策略 第一部分：实施策略 图1.数据库分库分表(sharding)实...
mysql数据倾斜_Hive数据倾斜优化
weixin_28793831的博客
02-08 213
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的...
分库分表？如何做到永不迁移数据和避免热点问题？
m0_73311735的博客
08-19 347
在我们设计系统之前，可以先预估一下大概这几年的订单量，如：4000万。每张表我们可以容纳1000万，也我们可以设计4张表进行存储。那具体如何路由存储的呢？hash的方案就是对指定的路由key（如：id）对分表总数进行取模，上图中，id=12的订单，对4进行取模，也就是会得到0，那此订单会放到0表中。id=13的订单，取模得到为1，就会放到1表中。为什么对4取模，是因为分表总数是4。优点：订单数据可以均匀的放到那4张表中，这样此订单进行操作时，就不会有热点问题。
分库表数据倾斜的处理让我联想到了AKF模型 | 京东云技术团队
JDDTechTalk的博客
09-13 164
AKF是以AKF公司的合作伙伴的名字（AKF Partner）命名的，AKF扩展立方体主要围绕系统扩展为主题进行介绍。提出了X、Y、Z三种扩展方向。通过不同方向的扩展来达到接近无限扩展的目的。X轴是水平扩展，通俗说就是复制多份数据或服务Y轴是针对动词（服务）或名词（资源）的拆分，或者说就是业务上的拆分Z轴是根据实际情况对客户独特属性进行拆分（ID，名称，地理位置等）X,Y,Z轴分别代表了不同的扩展方向，下面简单解释一下：X轴代表无差别的克隆服务和数据库。
数据库热点问题的产生和避免
LinkSLA的博客
03-01 1031
数据库的排序内存，哈希内存空间，有的数据库使用一个参数控制，有的数据库使用不同的参数控制，这个内存也非常重要，一般在线交易系统不大会有问题，分析性的数据库这方面需求比较大，可以用的总内存的20%以上，可以根据实际情况调整。插入性能是应用非常关心的，由于插入需要记录日志，是成本非常高的操作，所以对于大量的数据插入操作，要进行适当的设计，比如采用一个语句插入多条记录的方式，或者一个事务提交多条记录的方式减少日志瓶颈。数据库热点问题和交通阻塞特别的像，当没有发生时，一切正常，发生之后，系统的吞吐量会急剧的下降。
分库分表流量倾斜的排查方法论
qq_34367068的博客
04-27 656
本文介绍了分库分表流量倾斜的问题排查与解决思路思路总结如下：1、明确订单分库分表的路由算法，是通过取用户ID上的49-56位计算而来2、用户ID的生成采用的是雪花算法。雪花算法是一种生成全局唯一ID的算法，通过在分布式系统中生成ID，避免了重复的问题。因为每个雪花都是独一无二的，因此称之为“雪花算法”。一般地，我们会对雪花算法进行一定的改造，以符合公司业务的需要，比如在我司就在64位中划分了8位作为业务bit位，由业务填充相关的信息。
数据倾斜解决思路--适合有思路
DD_Rose的博客
12-03 367
数据倾斜解决思路--有经验的
关于ShardingSphere内置分片算法及其数据倾斜问题总结
Luffy的博客
12-22 3029
根据官网描述，ShardingSphere内置提供了多种分片算法，能够满足用户绝大多数业务场景的需要。按照类型可以划分为自动分片算法、标准分片算法、复合分片算法和 Hint 分片算法。其中，自动分片算法包括：取模分片算法，哈希取模分片算法，基于分片容量的范围分片算法，基于分片边界的范围分片算法，自动时间段分片算法。标准分片算法包括：行表达式分片算法，时间范围分片算法。复合分片算法只有复合行表达式分片算法。Hint 分片算法只有Hint 行表达式分片算法。
分库分表？如何做到永不迁移数据和避免热点？
全盛
04-24 220
看到一篇数据量大时分库分表设计思路的文章，写的很好。 原文地址： www.toutiao.com/i6677459303055491597 目录 前言 分库分表方案 hash取模方案 range范围方案 总结 前言 中大型项目中，一旦遇到数据量比较大，小伙伴应该都知道就应该对数据进行拆分了。有垂直和水平两种。 垂直拆分比较简单，也就是本来一个数据库，数据量大之后，从业务角度进行...
分库分表常见问题
gg39shmily的博客
11-21 489
分库分表笔记
MySQL分库分表
Mamba Out
05-16 412
背景 随着业务发展单库单表也越来越不能满足业务了，那么分库分表就势在必行了。 方案 hash取模方案 通过hash取模数据可以均分的分散到4张表中，不会出现热点问题，但是如果后面业务量增加4张表也不能满足业务了，需要额外拓展4张表，那么问题就来了，hash取模数就变成8，之前的历史数据就不能通过这个算法了，那么这个时候就需要进行数据迁移了，数据迁移带来的工作量使我们不想看到的。 range范围方案 range方案就是根据id返回，把数据放到对应的表中，因为id都是递增的那么新数据都会集中
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

魏小言

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值