HBase读写流程详解

读数据流程

获取元数据：

1. 客户端从Zookeeper中获取Mata表的RegionServer、Region位置信息
2. 读取meta表的表数据

找到对应的Region：

3. 根据namespace、表名、rowkey从mata表中获取对应的RegionServer、Region位置信息
4. 找到对应的RegionServer、Region

读取数据：

5. 根据列簇判断到哪些Store上读
6. 从对应的store中的MemStore找数据，再去BlockCache中找，如果没有，再到StoreFile上找
7. 最后RegionServer把读取到的数据响应给客户端

写数据流程

1-4点与读数据流程是类似的：

获取元数据：

1. 客户端从Zookeeper中Mata表的RegionServer、Region位置信息
2. 读取meta表数据

找到对应的Region：

3. 根据namespace、表名，再根据rowkey是否匹配某个Region的startkey、endkey，获取对应的RegionServer、Region位置信息
4. 找到对应的RegionServer、Region

写入数据：

5. 根据列簇判断写入那哪些Store
6. 然后将数据写入到对应Store中的MemStore
7. MenStore大小到达128M或MemStore中的数据存在已超出一小时，会自动将数据从MenStore刷写到StoreFile中
8. 溢写合并
   

• 一阶段合并：每当一个MenStore写满后，都会溢写到HFile中，要知道小文件会对HDFS文件系统造成巨大的压力，所有需要将这些小的HFile合并成大一点的StoreFile
• 二阶段合并：将这些大一点的StoreFile合并成一个StoreFile

补充：In-memory合并

• 在HBase2.0后加入 In memory compaction
• 与MemStore的区别：实现了在内存中进行compaction（合并）
• In memory compaction主要是延迟Flush到磁盘的时间，尽量优先写入到内存中，有一系列的合并优化操作
• 数据都是以segment(段)来保存的，首先数据会写到active segment，active segment写完后会将segment合并到pipeline里面，合并pipeline之后会有一定的策略：
  1. basic：只管存、合并、不会优化重复数据
  2.eager：会将一些重复的数据优化
  3.adaptive：会根据重复度来进行优化合并
• pipeline如果到达一定的阈值，就开始Flush