hbase meta表的结构

最新推荐文章于 2024-05-10 09:00:00 发布

weixin_34067980

最新推荐文章于 2024-05-10 09:00:00 发布

阅读量244

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/niurougan/p/3976543.html

版权

下面看下hbase:meta 表的结构，hbase:meta表中，保存了每个表的region地址，还有一些其他信息，例如region的名字，HRegionInfo,服务器的信息。hbase:meta表中每一行对应一个单一的region。例如我们现在创建一个表名叫"t"。hbase:meta中对应的行会像下面这个样子。

Row	Column Family	Column Qualifier	Value
t,,1351700811858	info	regioninfo	NAME => ‘t,,1351700811858. 90a3b2353709773ebc2423. 04a79dcbbc90a3b23 53709773ebc2423.’, STARTKEY => ”, ENDKEY => ”, ENCODED => 04a79 dcbbc90a3b23537 09773ebc2423,
		server	10.7.73.121:64782
		serverstartcode	1351986939360

具体含义：

rowKey:([table],[region start key],[region id]),

rowkey中第一个分隔符前存的是表名；

第二分隔符前存的是region的第一个rowKey，这里两个需要注意，1.如果这个地方为空的话，表明这是table的第一个region。并且如果一个region中startkey和endkey都为空的为，表明这个table只有一个region。2.在mata表中，startkey 靠前的region会排在startkey 靠后的region前面。（Hbase中的keys是按照字段顺序来排序的）

region id就是region的id,通常来说就是region创建的时候的timestamp

regioninfo 是HRegionInfo的序列化值。

server是指服务器的地址和端口

serverstartcode 是服务开始的时候的timestamp

根据meta表查找key对应的region

当有一个key需要做put操作的时候，会先扫描meta表，找到对应region，然后进行插入操作。

例如：有一个table具有三个region,每个region的startkey分别是空,bar,foo,如下图：

1 table,,1351700811858
2 table,bar,1351700819876
3 table,foo,1351700829874

如果我们需要插入key ‘baz’ ，我们能找meta表中对应的rowkey为(table,bar,1351700819876）。

这个查找完之后会缓存在客户端，下次查询的时候会根据缓存来直接去访问region。

自动split

当不断的往一个table增加数据的时候，最终region会分裂。这样hbase就能保证可以横向的增长了。一个parent region会split两个child region。

在child regions 上线之前我们需要做两件事：

下线parent region
把child regions的相关信息增加到parent info中

首先是更新meta表中parent region的info:regioninfo列的值，然后增加两列info:splitA(top child 的HRegionInfo，这里约定top为startkey较小的HReginInfo，bottom则反),和info:splitB（bottom child 的HRegionInfo）。这个操作能保证我们能跟踪到region到底做了写什么，方便后续的操作，以及后续如果操作被迫终端了，也有个凭证，能够根据这些来恢复。最后parent region会被CatalogJanitor清理掉。

更新meta表

在更新完meta表中parent region的记录的时候，就需要把child region相关插入到meta表中，top child region 的startkey 和paretn的startkey 是一样的，这个时候regionId就发挥他的作用了，如果没有regionId，当meta表中有top region和parent region的时候，我们就知道需要选择哪个了，因为他们的startkey都一样。而我们使用timestamp作为region的id（如果top region和parent region的timestamp一样的时候，top的region id 取timestamp+1）。这样我们就能保证child region总是排在parent region之后。

还有一个比较重要的就是，bottom child必须要先插入到meta表，然后top child才能插入。否则就会出现，在meta表中，bottom region里面的key找到不到对应的region的情况。举个例子还是以上面的例子为基础 meta中rowkey为(table,bar,1351700819876)的region分裂成两个region的meta rowkey分别是(table,bar,1351700819810)和(table,belong,1351700819810),如果这个时候先插入top child：

1 table,,1351700811858
2 table,bar,1351700819876 <---- offline!
3 table,bar,1351700819810 <---- top child
4 table,foo,1351700829874

例如这个时候我需要找key为bgood,我最终会找到这里的第三行top region里面，但是top region里面并不包含bgood。bgood这个这个key是在bottom region里面的。如果先加入bottom就没有这个问题，如下

table,,1351700811858
table,bar,1351700819876 <---- offline!
table,belong,1351700819810 <---- bottom child
table,foo,1351700829874

出错恢复

一般来说，Hbase可以很好的恢复服务器错误，但是有时候还是会出问题的，如果在slipt的时候，regionserver出错了，或者因为其他原因导致slipt整个周期只执行了一部分。这个时候meta表可能会出错，例如有出错的region在磁盘上面，或者重复的regions等。这个时候我们可以使用hbck工具来进行修复。使用以下命令查看更多hbck的信息：