![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
Demo_zfs
这个作者很懒,什么都没留下…
展开
-
hbase-compact剖析
前面的文章介绍了当达到一定的条件后memstore会flush生成hfile,随着hfile文件逐渐增多,查询可能需要更多的IO操作,为了合并这些hfile文件从而衍生出了compaction操作。compact分为两种:Minor Compaction、Major Compaction。Minor Compaction:选择部分小的、相邻的文件合并为一个大文件。 Major Compation:将store中所有的hfile文件合并成一个大的文件,并且在这个阶段将过期的数据、...原创 2020-05-28 10:26:09 · 369 阅读 · 0 评论 -
hbase-window idea调试源码
个人觉得debug运行代码是理解代码最为有效的方式,所以今天说一下在window上使用idea进行调试运行hbase源码(使用的是cdh版本的hbase)。下面将从环境配置、源码编译、配置修改以及运行四个方面进行讲解。环境配置1).下载源码,本次讲解的是cdh的hbase,所以git地址为:https://github.com/cloudera/hbase.git2).idea环境配置,使用idea打开下载的pom文件,进行下面图片所示的配置3)切换hbase源码版本。...原创 2020-05-18 18:14:02 · 681 阅读 · 0 评论 -
hbase-region split剖析
hbase region 切分是hbases水平扩展一个重要因素,将一个region切分为两个小region,并将切分后的region放在不同的节点上,以达到将负载进行均衡到其他节点。下面从split的策略、split流程以及split策略的设置三方面进行讲解region split。split策略region split的策略分为如下几种DisabledRegionSplitPolicy、ConstantSizeRegionSplitPolicy、IncreasingToUpper...原创 2020-05-15 00:49:22 · 527 阅读 · 0 评论 -
hbase-memstore flush剖析
memstore是hbase中一个非常重要的组件,对于hbase的读写操作的性能起到举足轻重的作用,下面讲从memstore概述、memstore flush触发条件、memstore flush流程、memstore flush流程源码四个方面对memstore进行说明memstore概述 一个RegionServer上对应多个Region,一个Region对应多个Store,一个Store对应一个Memstore和多个HFile,几者之间的关系如下图Regionserve...原创 2020-05-12 23:38:31 · 320 阅读 · 0 评论 -
hbase-BucketCache剖析
虽说hbase适合写多读少,但是hbase的读性能也是非常强悍的,hbase有如此好的读性能其中少不了BlockCache。BlockCache是regionserver级别的一种缓存,目前有三种实现方式:LruBlockCache、SlabCache和BucketCache,本文只对BucketCache的实现方式进行剖析。本文从BucketCache的内存模型、读写流程以及使用配置三方面进行说明。 BucketCache可以指定三种不同的存储介质:onHeap(java堆上内存)、of...原创 2020-05-12 00:03:06 · 1652 阅读 · 0 评论 -
hbase-put流程剖析
众所周知hbase是一个写性能非常优越的NOSQL,今天从源码中分析一下put操作到了region中是如何进行处理的。 region中处理put请求的大致流程如下图所示:1)检查region状态并尝试获取region中读写锁中的读锁,1.检查读操作时是否可读。2.检查region是否rit状态,是则不允许read、split和merge操作。3.获取region读写...原创 2020-05-07 20:08:20 · 832 阅读 · 0 评论 -
hbase-visibility(可见性标签)
可见性标签是一串逻辑表达式字符串,用于标定数据的可见性。启用可见性标签在hbase-site.xml配置文件中添加如下配置 hbase.coprocessor.user.region.classes org.kye.endpoint.impl.CountRowEndpoint 自定义endpoint coprocessor hfile.format.v...原创 2019-03-08 17:59:44 · 1265 阅读 · 0 评论