Hbase架构设计和源码-源码第二篇

Hbase 版本 2.x

HMaster启动流程

1

初始化父类HRegionServer
	创建启动RPCServer，ZKWatcher

2

初始化activeMasterManager

3

HMaster线程run()方法
1 启动hmaster web服务
2 启动前面初始化的activeMasterManager
	竞争active
		1 所有hmaster在zk内同一父节点下创建一个代表自己的临时backup znode节点 （备份节点）
		2 阻塞。当没有active存在时，则一直while循环线程sleep等待 （阻塞为了让大家抢active）
		3 分布式锁方式抢active
			多个hmaster同时在zk尝试创建代表active身份的临时znode节点，创建成功的hmaster判定为active
		4 如果抢到active：active hmaster删除之前创建代表自己的临时backup znode节点，其他hmaster不删除
		4 如果没抢到active：backup hmaster在zk中监控active hmaster的znode节点。如active不在了则循环竞争
	完成hmaster各种组件初始化
		初始化ChunkCreator：
			MemStoreLAb主要解决memstoreFlush内存碎片化导致的gc
			memstore底层是一个链表，每个节点时一个key-value对象
			每当插入一条数据，一个key-value就会在HRegionServer内存中申请一块内存存储，插入到链表中。
			但是链表中插入的多个key-value数据物理内存中不连续 -> 1 产生内存碎片 2 大量key-value提升老年代
			
			优化方案：hbase1.x版本时插入一个cell则申请一个cell的内存
			hbase 2.x之后优化为一次性申请2mb连续的内存，变成一个对象放入链表。ChunkCreator就是创建chunk的对象实例
			key-value数据写入chunk中，当chunk写满则再申请一个chunk入链表，链表为ConcurrentSkipListMap，跳表查询快
			Chunk可以回收再使用，再加入ChunkPool这就一定程度上降低了Chunk对象申请的频率，有利于Young GC

			https://blog.51cto.com/u_15060465/2676745 更详细的文章介绍
		初始化ProcedureExecutor
			用于将来封装用户put，get等请求放入线程池执行
		初始化AssignmentManager
			用于帮助HMaster分配region给哪些regionServer管理
		如果集群第一次启动，则初始化meta表
		初始化等等很多组件（50多个）和启动各种服务线程
		上线meta表，加载元数据到内存

HRegionServer启动流程

HRegionServer 构造方法
HRegionServer 线程run()
	初始化
		初始化和zk连接，zk hbase/rs路径下创建当前regionServer信息的znode节点
		初始化和Hmaster连接
		创建Netty RPC客户端
	HRegionServer启动后，向master汇报
	处理master返回的汇报结果
	定期心跳

PUT流程

代码 table.put(new Put())

基本流程
1 客户端请求zk拿到meta表在哪个region server
2 发请求给region server扫描meta表信息，确定要插入的数据rowkey在哪个用户表的region server1和所在region server1信息
3 发请求给region server1扫描用户表信息，确定在哪个region server2
4 发送请求，region server2执行插入 
	WAL记录操作日志
	写入数据到memstore
	判断是否flush
		再次判断是否compact
		判断是否split

详细PUT写内存流程
checkResources()  资源检查
	如果时meta信息表则不处理直接return
	否之，如果堆内内存+堆外内存 > 设定阈值 （flushSize 默认128mb * mult 默认4），则阻塞flush溢写
dataBatchMutate(put) 插入数据
	拿到插入批次下所有rowkey对应的行级锁（hbase有行级事务）
	构建并顺序追加写入WAL日志
	将获得行级锁的数据写入memstore内存
		数据根据列簇拆分
		写入内存ConcurrentSkipListMap delegatee对象
requestFlushIfNeeded() put操作完成后，也需要判断是否mem flush
	1 每次刷写磁盘都会先添加布隆索引后再刷写
	2 Hbase底层都是存储的二进制字节数据，需要将内存数据encode充当写出动作
	3 将最小粒度的ceil对象（根据前文key-value数据结构klen/vlen等依次逐步的）写入HFile文件

备注：key-value大小不能超过默认参数10mb
PUT和GET底层都是rpcCall()方法调用，使用probubuf序列化并提交RPC请求
PUT rpc请求时发送给region server，而不是master，前面提过hmaster宕机集群依然可以运行
2.x 版本后 meta表的region有副本概念

GET流程

代码 table.get(new Get())

如果client之前已经读取过，则client缓存已经保存了数据所在region信息，直接跳过1 2 3步骤
同上put 1 2 3
4 发送请求，请求region server2
	1 查询 blockcache （读缓存）
	2 布隆过滤器判断
		如判断rowkey不存在，则不再扫描HFile。存在则扫描

Region Server定位分析

PUT/GET 
第二步 locateMeta(tablename,useCache,replicaId) 查zk的meta表信息和位置
第三步 locateRegionInMeta(tablename,row,useCache,retry,replicaId) 查meta表所在的region server用户表信息
	定位连接region server retry超过15次则报错

Flush memstore入HFile

requestFlush()
	flushRegion(fqe)

Split

split()

Compact

requestCompact()

竞品比较