CC00005.hbase——|Hadoop&HBase.V05|——|HBase.v05|HBase原理|读写Flush阻塞|合并机制.v01|

yanqi_vip

已于 2022-04-10 17:08:55 修改

阅读量128

点赞数

分类专栏： bigdatav010——hbase 文章标签： hbase python java 数据库 mysql

于 2022-04-08 15:26:00 首次发布

不予转载

本文链接：https://blog.csdn.net/yanqi_vip/article/details/124054912

版权

bigdatav010——hbase 专栏收录该内容

12 篇文章 1 订阅

订阅专栏

一、HBase读数据流程

### --- [HBase]

~~~     [HBase原理深入之读数据流程]
~~~     [HBase原理升入之写数据流程]
~~~     [HBase的Flush机制及阻塞机制]
~~~     [HBase的Compact合并机制]

### --- HBase表中row可以按照字典序排序，切分region就是按照rowkey来划分

~~~     一张表3个region 
~~~     0-1000：region1
~~~     1001-2000 region2
~~~     2001-5000 region3

hbase(main):001:0> scan 'hbase:meta'
ROW                                              COLUMN+CELL                                                                                                                                   
 hbase:namespace,,1630575261628.df94cbecb49bd001 column=info:regioninfo, timestamp=1630575563615, value={ENCODED => df94cbecb49bd00190eb0a1827cf5b01, NAME => 'hbase:namespace,,1630575261628.d
 90eb0a1827cf5b01.                               f94cbecb49bd00190eb0a1827cf5b01.', STARTKEY => '', ENDKEY => ''}                                                                              
 hbase:namespace,,1630575261628.df94cbecb49bd001 column=info:seqnumDuringOpen, timestamp=1630575563615, value=\x00\x00\x00\x00\x00\x00\x00\x0B                                                 
 90eb0a1827cf5b01.                                                                                                                                                                             
 hbase:namespace,,1630575261628.df94cbecb49bd001 column=info:server, timestamp=1630575563615, value=linux122:16020                                                                             
 90eb0a1827cf5b01.                                                                                                                                                                             
 hbase:namespace,,1630575261628.df94cbecb49bd001 column=info:serverstartcode, timestamp=1630575563615, value=1630575236665                                                                     
 90eb0a1827cf5b01.

### --- HBase读操作

~~~     # 首先从zk找到meta表的region位置，
~~~     然后读取meta表中的数据，meta表中存储了用户表的region信息
~~~     # 根据要查询的namespace、表名和rowkey信息。
~~~     找到写入数据对应的region信息找到这个region对应的regionServer，然后发送请求查找对应的region

~~~     # 先从memstore查找数据，如果没有，
~~~     再从BlockCache上读取HBase上Regionserver的内存分为两个部分一部分作为Memstore，
~~~     主要用来写；另外一部分作为BlockCache，主要用于读数据；

~~~     # 如果BlockCache中也没有找到，
~~~     再到StoreFile上进行读取从storeFile中读取到数据之后，
~~~     不是直接把结果数据返回给客户端，而是把数据先写入到BlockCache中，
~~~     目的是为了加快后续的查询；然后在返回结果给客户端。

二、HBase写数据流程

### --- HBase写操作

~~~     首先从zk找到meta表的region位置，然后读取meta表中的数据，
~~~     meta表中存储了用户表的region信息
~~~     根据namespace、表名和rowkey信息。找到写入数据对应的region信息
~~~     找到这个region对应的regionServer，然后发送请求
~~~     把数据分别写到HLog(write ahead log)和memstore各一份
~~~     memstore达到阈值后把数据刷到磁盘，生成storeFile文件
~~~     删除HLog中的历史数据