Hbase学习笔记 - hbase(1.x)读写

目录

写入

1. Client处理

2. Region写入

3. MemStore Flush

1. flush 触发时机

2. flush 写入流程

3. HFile生成

读取

Compaction文件合并

触发时机

待合并HFile集合选择策略

---

写入

1. Client处理

1. 调用Put请求后，数据放入Client缓冲区，满足一定条件后异步批量提交或直接提交（autoflush参数控制）
2. 根据rowkey到hbase:meta表中查询Region位置，对批量插入还会根据HRegionLocation分组，分为多次RPC请求不同的RegionServer
3. RegionServer收到写入请求后执行数据写入

2. Region写入

1. 获取锁，hbase用行锁保证一行数据更新的原子性
2. 更新待写入的KeyValue数据的时间戳为当前系统时间戳
3. 构造WAL记录，同一次写入中的所有KeyValue会构造为一条WAL记录（为了保证Region级别事务的原子性）
4. 将3中构造的WAL记录追加到HLog
5. 将数据写入MemStore
6. 释放行锁
7. 释放行锁后sync WAL（减少持锁时间，提升写性能；若sync失败，会将MemStore中记录回滚）
8. 结束写事务，此时更新操作对其他读事务生效（Hbase MVCC）

3. MemStore Flush

1. flush 触发时机

• MemStore级别：Region中任意一个MemStore大小达到上限（hbase.hregion.memstore.flush.size）
• Region级别：Region中所有MemStore大小总和达到上限（hbase.hregion.memstore.block.multi-plier * hbase.hregion.memst