HBase读写流程

整理了HBase读写流程的一些资料

首先明确一点：region server主要用来服务读和写操作。当用户通过client访问数据时，client会和 RegionServer 进行直接通信。因此下面的读写流程中HMaster并没有直接参与进来。

下面我们进入正题

一、写流程

（1）客户端 首先访问 zookeeper

（2） zookeeper返回 管理hbase:meta 表所对应的 Region Server给客户端；

（3）客户端 访问对应的 Region Server，读取hbase:meta 表，

（4）读取meta表并将其缓存到连接中，作为连接属性 MetaCache，由于 Meta 表格具有一定的数据量，导致了创建连接比较慢；（这就是为什么connect的连接是重量级的）之后使用创建的连接获取 Table，这是一个轻量级的连接，只有在第一次创建的时候会检查表格是否存在访问 RegionServer，之后在获取 Table 时不会访问 RegionServer；

（5）客户端 调用Table的put方法写入数据：解析RowKey并对照缓存的MetaCache，查看具体写入的位置由哪个 RegionServe负责，将put请求发送到对应的RegionServer；

（6）Region Server 将数据顺序写入（追加）到 HDFS的WAL中，（告诉WAL这批写入数据在内存中，还没有写入磁盘）此处写入是直接落盘的，并设置专门的线程控制 WAL 预写日志的滚动（类似 Flume）；

（7）Region Server 根据写入命令的 RowKey 和 ColumnFamily 查看具体写入到哪个 MemStory（一个MemStory对应一个Story），并且在 MemStory 中排序；写入MenStory后向客户端发送ack；

（8 ）Region Server 等达到 MemStore 的刷写时机后，将数据刷写到对应的 story 中。

 

---

二、读流程

步骤（1）~（4）同写流程

（5）创建 Table 对象发送 get 请求。

（6）优先访问 Block Cache，查找是否之前读取过，并且可以读取 HFile 的索引信息和布隆过滤器。（对于读取过的数据的元信息会保存在读缓存中，Region Server会对比Block cache读缓存中的尾部信息和HFile对应文件的尾部信息。如果二者尾部信息完全一致说明文件没有发生变化，则直接读取读缓存即可而无需读取HFile中的数据，反之则读取HFIle中的数据

（7）不管读缓存中是否已经有数据了（可能已经过期了，因为在写缓存中写入了新版本），都需要再次读取写缓存和 store 中的文件。

（8）最终将所有读取到的数据合并版本，按照 get 的要求返回即可。

点个赞吧~

欢迎批评指正~