超级会员免费看
本文讨论了数据倾斜的两类问题：数据量倾斜和数据访问倾斜，及其成因和应对方法。针对数据量倾斜，重点分析了bigkey、Slot分配不均衡和Hash Tag引起的倾斜，并提出相应的解决方案。对于数据访问倾斜，热点数据的存在是主要问题，文中建议使用热点数据多副本的方法来分散访问压力。
数据倾斜有两类
数据量倾斜：在某些情况下，实例上的数据分布不均衡，某个实例上的数据特别多。
数据访问倾斜：虽然每个集群实例上的数据量相差不大，但是某个实例上的数据是热点数据，被访问得非常频繁。
数据量倾斜的成因和应对方法
bigkey 导致倾斜
我们在业务层生成数据时，要尽量避免把过多的数据保存在同一个键值对中。
此外，如果 bigkey 正好是集合类型，我们还有一个方法，就是把 bigkey 拆分成很多个小的集合类型数据，分散保存在不同的实例上。
Slot 分配不均衡导致倾斜
如果集群运维人员没有均衡地分配 Slot，就会有大量的数据被分配到同一个 Slot 中，而同一个 Slot 只会在一个实例上分布，这就会导致，大量数据被集中到一个实例上，造成数据倾斜。
Hash Tag 导致倾斜
Hash
订阅专栏 解锁全文
扫一扫
281
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
