hbase
逆行时针
这个作者很懒,什么都没留下…
展开
-
HFile为什么要合并,怎么合并
memstore每次刷写会产生一个HFile,当HFile过多时,读取速度下降 合并类型: minor compaction 移除TTL到期文件(频繁) major compaction 删除已删除的文件,版本号超过当前版本的数据,把一个store的HFile合并成一个HFile(默认7天一次) 流程: 获取不带锁的列表 由列表创建一个StoreFileScanner来读本次合并的所有s...原创 2020-03-28 23:30:38 · 579 阅读 · 0 评论 -
HBase数据倾斜
(取反)当Rowkey分布不均匀,但Rowkey的反序有随机性,可以将Rowkey取反,但是这种方式只能优化get,对scan操作并不友好,因为自然顺序被打乱了 (加盐)在原Rowkey前加定长随机数,但无法查找,增加了吞吐量 (Hash)对Rowkey进行hash,对原Rowkey的前缀部分进行替换与取反类似,不利于scan ...原创 2020-03-28 23:16:31 · 560 阅读 · 0 评论