震惊！全网唯一直击范围分片本质[适用HBase、Tidb等]

最新推荐文章于 2024-09-11 09:11:09 发布

BigData之路

最新推荐文章于 2024-09-11 09:11:09 发布

阅读量387

点赞数 3

分类专栏：大数据基础-路由分片文章标签：大数据分布式 hbase 运维 hadoop

本文链接：https://blog.csdn.net/weixin_47158466/article/details/108026562

版权

本文从哈希分片的痛点出发，探讨了如何构造范围分片以优化路由分片模型，特别是针对范围查询的效率提升。通过分析，揭示了范围分片在批量读取、顺序IO、元数据优化以及灵活性方面的优势，并以HBase为例，展示了范围分片在实际系统中的应用和最佳实践。

摘要由CSDN通过智能技术生成

一、前言

上周和朋友聊天感觉之前的文章起的题目太中二了，虽然目标是不做标题党，但本次决定使用“震惊体”！！试试效果～～

前几篇文章中,我们讲述了哈希分片的路由分片方式模型, 通过对《基础(加权)轮询》、《虚拟桶》、《一致性hash》模型进行分析后，不难发现哈希分片的路由分片模型，将客户端的读写请求尽可能均匀的分散到不同的后端节点中，并且使用不同的方法缓解节点上线和下线过程中分片迁移的问题(主要指后两种方案)。那么是否意味着hash分片并没有缺点呢？除了hash分片还有没有其他分片方式呢？我们带着这些问题，来开始本篇的重点。路由分片大法第二弹：范围分片

二、hash分片的痛点

我们跳出最近几篇hash分片的固有思维，重新看下路由分片，hash分片法是通过hash函数对key进行处理，然后分配在某个partition中，partition 最终又会通过一定的映射规则最终落在machine上。因此当需要查询一个key的value时，要经过key-partition的映射表和partition-machine的映射表去两次寻址，从而实现路由寻址。如果此时有成千上万个key要查询，会是什么样子呢?如上图所示，我们不难看出，当有海量的Key进行查询的时候，依旧会拆分成若干次单key路由，因此会不断重复两次寻址的过程，即使是相邻的两个Key，如Key1、Key2，也要重复相同的操作。由此也引出了hash分片最大的痛点，受hash路由分片模型的限制，hash分片只适合点查询，而不适合范围查询。