验证HFile和HLog中序列号的关系

最新推荐文章于 2020-12-24 11:12:26 发布
最新推荐文章于 2020-12-24 11:12:26 发布
阅读量271 收藏
点赞数
文章标签： 大数据

首先我有两个测试的表： t_lisa和 t_lisa1，t_lisa的一个region和t_lisa1的整个表都在相同的regionserver上，所以他们的更新会写相同的HLog文件，我会在t_lisa和t_lisa1都进行更新操作，然后手工的对t_lisa进行flush操作，将t_lisa的memstore刷新到HFile，然后再对比t_lisa的HFile，t_lisa1的HFile和HLog中的序列号。

先确认一下两个表当前的HFile情况：

[root@a01 ~]# hadoop fs -ls /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_1

Found 1 items

-rw-r--r--   3 root supergroup        964 2013-11-16 15:26 /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_1/b6ab19771b4f4a7597afffd37ccf907b

[root@a01 ~]# hadoop fs -ls /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_2

Found 1 items

-rw-r--r--   3 root supergroup        706 2013-11-14 09:44 /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_2/3cc23abe61f74ccfa1e2240153487101

[root@a01 ~]# hadoop fs -ls /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_1

Found 1 items

-rw-r--r--   3 root supergroup        881 2013-11-26 18:33 /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_1/ad4992b0fd5843318b00c0c60a43f786

[root@a01 ~]# hadoop fs -ls /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_2

Found 1 items

-rw-r--r--   3 root supergroup        712 2013-11-15 14:26 /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_2/5df75d8416bd4d049937901c154d3dfd

[root@a01 ~]# hadoop fs -ls /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_1

Found 1 items

-rw-r--r--   3 root supergroup        795 2013-11-14 09:39 /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_1/e541b8a04f224e869166ee43783bd8d0

[root@a01 ~]# hadoop fs -ls /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_2

Found 1 items

-rw-r--r--   3 root supergroup        736 2013-11-14 09:39 /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_2/6eb83725b6b042958067d900761ef613

 

然后我们对两个表的四个列族都进行修改操作：

hbase(main):001:0> put't_lisa','lisa10','cf_1:w1','10z2'

0 row(s) in 0.5120 seconds

 

hbase(main):002:0> put't_lisa','lisa1','cf_1:w100','abcd'

0 row(s) in 0.0050 seconds

 

hbase(main):003:0> put't_lisa','lisa10','cf_2:w1','10z2'

0 row(s) in 0.0050 seconds

 

hbase(main):004:0> put't_lisa','lisa1','cf_2:w100','abcd'

0 row(s) in 0.0030 seconds

 

hbase(main):005:0> put't_lisa1','lisa11','cf_1:23','3sdfs'

0 row(s) in 0.1430 seconds

 

hbase(main):006:0> put't_lisa1','lisa12','cf_1:34','zzzz'

0 row(s) in 0.0040 seconds

 

hbase(main):007:0> put't_lisa1','lisa11','cf_2:23','3sdfs'

0 row(s) in 0.0040 seconds

 

hbase(main):008:0> put't_lisa1','lisa12','cf_2:34','zzzz'

0 row(s) in 0.0040 seconds

 

hbase(main):011:0> put't_lisa','lisa77','cf_1:w100','abcd'

0 row(s) in 0.0370 seconds

 

hbase(main):012:0> put't_lisa','lisa79','cf_2:w1','10z2'

0 row(s) in 0.0040 seconds

 

确认在不刷新memstore的时候，HFile是没有变化的。

t_lisa1的MAX_SEQ_ID_KEY = 2309244

t_lisa的MAX_SEQ_ID_KEY = 2316021

HLog中的序列号都大于HLog的序列号，所以内存还没有刷新到HFile

[root@a01 hbase]# bin/hbase hlog /hbase_root/.logs/*,60020,1385442023669/*%2C60020%2C1385442023669.1385528428894 -p

Sequence 2316025 from region 787ce41dabb55075935e7060583ae6af in table t_lisa1

  Action:

    row: lisa11

    column: cf_1:23

    at time: Wed Nov 27 14:32:17 CST 2013

    value: 3sdfs

Sequence 2316026 from region 787ce41dabb55075935e7060583ae6af in table t_lisa1

  Action:

    row: lisa12

    column: cf_1:34

    at time: Wed Nov 27 14:32:17 CST 2013

    value: zzzz

Sequence 2316027 from region 787ce41dabb55075935e7060583ae6af in table t_lisa1

  Action:

    row: lisa11

    column: cf_2:23

    at time: Wed Nov 27 14:32:17 CST 2013

    value: 3sdfs

Sequence 2316028 from region 787ce41dabb55075935e7060583ae6af in table t_lisa1

  Action:

    row: lisa12

    column: cf_2:34

    at time: Wed Nov 27 14:32:17 CST 2013

value: zzzz

Sequence 2316029 from region fa8f6eb2a0bcb54e443f9bfc2693768d in table t_lisa

  Action:

    row: lisa77

    column: cf_1:w100

    at time: Wed Nov 27 14:45:08 CST 2013

    value: abcd

Sequence 2316030 from region fa8f6eb2a0bcb54e443f9bfc2693768d in table t_lisa

  Action:

    row: lisa79

    column: cf_2:w1

    at time: Wed Nov 27 14:45:08 CST 2013

    value: 10z2

 

hbase(main):010:0> help 'flush'

Flush all regions in passed table or pass a region row to

flush an individual region.  For example:

 

  hbase> flush 'TABLENAME'

  hbase> flush 'REGIONNAME'

flush是可以针对表或者regionname的，所以是我多虑了。

我们flush ‘t_lisa,lisa3,1384393470579.fa8f6eb2a0bcb54e443f9bfc2693768d.’

 

hbase(main):013:0> flush 't_lisa,lisa3,1384393470579.fa8f6eb2a0bcb54e443f9bfc2693768d.'

0 row(s) in 0.2180 seconds

 

[root@a01 hbase]# hadoop fs -ls /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_1/                                

Found 2 items

-rw-r--r--   3 root supergroup        711 2013-11-27 14:46 /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_1/9731d813c4a54c018eee7c7a5ed4b11f

-rw-r--r--   3 root supergroup        881 2013-11-26 18:33 /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_1/ad4992b0fd5843318b00c0c60a43f786

[root@a01 hbase]# hadoop fs -ls /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_2 

Found 2 items

-rw-r--r--   3 root supergroup        712 2013-11-15 14:26 /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_2/5df75d8416bd4d049937901c154d3dfd

-rw-r--r--   3 root supergroup        705 2013-11-27 14:46 /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_2/cbb4312c3861473faf04a17a7861d51e

[root@a01 hbase]# hadoop fs -ls /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_1

Found 1 items

-rw-r--r--   3 root supergroup        964 2013-11-16 15:26 /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_1/b6ab19771b4f4a7597afffd37ccf907b

[root@a01 hbase]# hadoop fs -ls /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_2

Found 1 items

-rw-r--r--   3 root supergroup        706 2013-11-14 09:44 /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_2/3cc23abe61f74ccfa1e2240153487101

[root@a01 hbase]# hadoop fs -ls /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_1

Found 1 items

-rw-r--r--   3 root supergroup        795 2013-11-14 09:39 /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_1/e541b8a04f224e869166ee43783bd8d0

[root@a01 hbase]# hadoop fs -ls /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_2

Found 1 items

-rw-r--r--   3 root supergroup        736 2013-11-14 09:39 /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_2/6eb83725b6b042958067d900761ef613

 

[root@a01 hbase]# bin/hbase org.apache.hadoop.hbase.io.hfile.HFile -f /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_1/9731d813c4a54c018eee7c7a5ed4b11f -v -m -p

MAX_SEQ_ID_KEY = 2316031

 

[root@a01 hbase]# bin/hbase org.apache.hadoop.hbase.io.hfile.HFile -f  /hbase_root/t_lisa/fa8f6eb2a0bcb54e443f9bfc2693768d/cf_2/cbb4312c3861473faf04a17a7861d51e -v -m -p

MAX_SEQ_ID_KEY = 2316031

 

为什么是2316031呢，比之前看到的HLog的序列号大1，最后的这个操作是什么？

Sequence 2316031 from region fa8f6eb2a0bcb54e443f9bfc2693768d in table t_lisa

  Action:

    row: METAROW

    column: METAFAMILY:

    at time: Wed Nov 27 14:46:30 CST 2013

value: HBASE::CACHEFLUSH

最后这个操作就是flush memstore。

那么那些没有flush的操作什么时候会刷新到HFile呢，理论上HLog每小时要滚动，滚动的时候判断这部分的修改没有固化，是不是强制刷新？

要等下一个小时观察一下变化：

 

[root@a01 hbase]# hadoop fs -ls /hbase_root/.logs

Found 5 items

drwxr-xr-x   - root supergroup          0 2013-11-27 13:00 /hbase_root/.logs/*,60020,1385442023669

drwxr-xr-x   - root supergroup          0 2013-11-26 13:00 /hbase_root/.logs/*,60020,1385442025408

drwxr-xr-x   - root supergroup          0 2013-11-26 13:00 /hbase_root/.logs/*,60020,1385442024055

drwxr-xr-x   - root supergroup          0 2013-11-26 13:00 /hbase_root/.logs/*,60020,1385442028712

drwxr-xr-x   - root supergroup          0 2013-11-26 15:00 /hbase_root/.logs/*,60020,1385442028696

[root@a01 hbase]# hadoop fs -ls /hbase_root/.oldlogs

[root@a01 hbase]# date

Wed Nov 27 15:00:10 CST 2013

[root@a01 hbase]# hadoop fs -ls /hbase_root/.logs

Found 5 items

drwxr-xr-x   - root supergroup          0 2013-11-27 15:00 /hbase_root/.logs/*,60020,1385442023669

drwxr-xr-x   - root supergroup          0 2013-11-26 13:00 /hbase_root/.logs/*,60020,1385442025408

drwxr-xr-x   - root supergroup          0 2013-11-27 15:00 /hbase_root/.logs/*,60020,1385442024055

drwxr-xr-x   - root supergroup          0 2013-11-26 13:00 /hbase_root/.logs/*,60020,1385442028712

drwxr-xr-x   - root supergroup          0 2013-11-26 15:00 /hbase_root/.logs/*,60020,1385442028696

 

可以看到日志的确滚动了，每个regionserver下出现了第二个HLog文件：

[root@a01 hbase]# hadoop fs -ls /hbase_root/.logs/*,60020,1385442023669

Found 2 items

-rw-r--r--   3 root supergroup        986 2013-11-27 13:00 /hbase_root/.logs/*,60020,1385442023669/*%2C60020%2C1385442023669.1385528428894

-rw-r--r--   3 root supergroup          0 2013-11-27 15:00 /hbase_root/.logs/*,60020,1385442023669/*%2C60020%2C1385442023669.1385535629603

[root@a01 hbase]# hadoop fs -ls /hbase_root/.logs/*,60020,1385442024055

Found 2 items

-rw-r--r--   3 root supergroup        608 2013-11-26 13:00 /hbase_root/.logs/*,60020,1385442024055/*%2C60020%2C1385442024055.1385442024670

-rw-r--r--   3 root supergroup          0 2013-11-27 15:00 /hbase_root/.logs/*,60020,1385442024055/*%2C60020%2C1385442024055.1385535626291

 

但是对应的HFile并没有发生变化，也就是memstore没有刷新到HFile：

[root@a01 hbase]# hadoop fs -ls /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_1

Found 1 items

-rw-r--r--   3 root supergroup        964 2013-11-16 15:26 /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_1/b6ab19771b4f4a7597afffd37ccf907b

[root@a01 hbase]# hadoop fs -ls /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_2

Found 1 items

-rw-r--r--   3 root supergroup        706 2013-11-14 09:44 /hbase_root/t_lisa/e56ca60a2a54ae55b8631bbd21672e35/cf_2/3cc23abe61f74ccfa1e2240153487101

[root@a01 hbase]# hadoop fs -ls /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_1

Found 1 items

-rw-r--r--   3 root supergroup        795 2013-11-14 09:39 /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_1/e541b8a04f224e869166ee43783bd8d0

[root@a01 hbase]# hadoop fs -ls /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_2

Found 1 items

-rw-r--r--   3 root supergroup        736 2013-11-14 09:39 /hbase_root/t_lisa1/787ce41dabb55075935e7060583ae6af/cf_2/6eb83725b6b042958067d900761ef613

 

也就是HLog仍然在.logs目录下面，只有等到HLog中所有的更新都刷新到HFile以后，才会将文件挪到.oldlogs目录下面。日志的滚动不会触发flush的操作。当某个regionserver下面的HLog超过一定数量的时候，会有一个机制强制将memstore刷新到HFile中。

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/51862/viewspace-1061291/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/51862/viewspace-1061291/

cinashu1164
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hbase hfilev2
隔壁老杨的专栏
05-10 1596
HFileV2文件 HFileV2文件写入通过StoreFile.Writer-->HFileWriterV2进行写入。 文件格式通过hfile.format.version配置。默认为2，也只有2这个值在0.96可用。 可通过cf中配置DATA_BLOCK_ENCODING配置dataBlock的encoding, 可配置值：NONE,PREFIX,DIFF,FAST_DIFF,PREF
HBase HLog结构和原理
greatwqs : Where amazing happens ...
04-11 1607
一. HLog在HDFS上位置和RegionServer对应关系 HLog持久化在HDFS之上, HLog存储位置查看: hadoop fs -ls /hbase/.logs 通过HBase架构图, HLog与HRegionServer一一对应, Found 5 items ...
HFile校验
走向程序的康庄大道
03-25 763
HBase 表大小统计: hbase org.apache.hadoop.hbase.mapreduce.RowCounter test:standard HFile校验: #]hbase hfile usage: HFile [-a] [-b] [-e] [-f <arg> | -r <arg>] [-h] [-k] [-m] [-p] [-s]...
HBase原理——要弄懂的sequenceId
大数据星球-浪尖
10-09 733
转自：https://www.jianshu.com/p/e5a88fc57fce为什么需要sequenceId?HBase数据在写入的时候首先追加写入HLog，再写入Memstore，...
hbasehlog_Hbase HLog源代码阅读笔记
weixin_42311335的博客
12-24 112
anet模块主要为对通信API的抽象和封装。 anet功能特性 ==》支持Unix Domain Socket服务 ==》支持V4/V6版本的Tcp Socket服务 ==》支持阻塞及非阻塞式TCP连接 ==》支持Tcp No Delay机制 ==》支持Tcp Keep Alive机制 ==》支持Tcp 发送超时机制 anet基本接口 intHLog当客户端往RegionServer上提交了一个更...
HBASE hfile v2 format
12-05
hbase hfile v2 format draft 描述存储结构
HFile.java
最新发布
06-27
HFile.java
MapReduce生成HFile入库到HBase 可能需要的jar包
02-18
MapReduce生成HFile入库到HBase 可能需要的jar包，一共有3个 可以直接放在每台机器的${HADOOP_HOME}/lib下 hadoopHadoop 1.1.2 + hbase 0.94.6.1
MR-read-Hfile2
05-02
1. **Mapper类**：负责从HFile中解析和处理数据，通常会实现Map函数，将输入的HFile记录映射为一系列键值对。 2. **Reducer类**：可能包含Reduce函数，用于聚合或处理由Mapper产生的中间结果。 3. **InputFormat类**...
hfile-to-hbase:处女发表
06-29
标题中的“hfile-to-hbase:处女发表”暗示了这是一个关于将HFile数据导入到HBase的项目或教程的首次发布。HFile是HBase的一种数据存储格式，主要用于存储HBase表的数据块，而HBase则是一个分布式、版本化的NoSQL...
HBase原理－要弄懂的sequenceId
weixin_34258078的博客
08-02 170
好记性不如烂笔头，何况我的记性已经无药可救~ 为什么需要sequenceId? HBase数据在写入的时候首先追加写入HLog，再写入Memstore，也就是说一份数据会以两种不同的形式存在于两个地方。那两个地方的同一份数据需不需要一种机制将两者关联起来?有的朋友要问为什么需要关联这两者，那笔者这里提出三个相关问题： 1. Memstore中的数据...
百度网盘外链采集分析 爬取百度网盘用户分享 自建百度网盘文件链接搜索引擎
热门推荐
chenhao0568的专栏
02-17 14万+
我建的网盘文件搜索引擎 http://s.supermindsoft.com/ 找一个订阅超多用户的uk， 爬取用户的所有订阅用户uk和粉丝数，不断深入 爬取。得到一个按粉丝数从高到低排列的用户uk表。 从数据库获取粉丝超多用户的uk，采集他们的所有分享文件名和对应链接，存入数据库。 从网站前台分词搜索。
HBase 架构 | 存储
法海你懂不?
03-11 1350
目前主流的RDBMS和其他非关系型数据库底层数据库结构大都会使用B树或B+树，有时还会使用LSM树(Log-Structured Tree)。HBase与BitTable一样，是基于LSM树的系统。 基本结构 为了了解HBase存储层，下图给出了一个顶层结构图。 从上图中可以看到HBase主要处理两种文件，预写日志(WAL)，实际文件。这两种文件主要由HRegionServer管理。...
HBase-HLog分析
hixiaoxiaoniao的专栏
06-12 1949
HLog的全部实现在包:org.apache.hadoop.hbase.regionserver.wal 中 相关的配置为参数名默认值含义hbase.regionserver.hlog.enabledtrue是否启用WALhbase.regionserver.hlog.writer.implSequenceFileLogWriterHLog.Writer实现类hbase.regionserver....
hbasehlog_HBase-HLog分析
weixin_39552204的博客
12-24 272
HLog的全部实现在包:org.apache.hadoop.hbase.regionserver.wal 中相关的配置为参数名默认值含义hbase.regionserver.hlog.enabledtrue是否启用WALhbase.regionserver.hlog.writer.implSequenceFileLogWriterHLog.Writer实现类hbase.regionserver.h...
【HBase十二】HFile存储的是一个列族的数据
bit1129的博客
04-16 1482
在HBase中，每个HFile存储的是一个表中一个列族的数据，也就是说，当一个表中有多个列簇时，针对每个列簇插入数据，最后产生的数据是多个HFile，每个对应一个列族，通过如下操作验证   1. 建立一个有两个列族的表   create 'members','colfam1','colfam2'   2. 在members表中的colfam1中插入50*50*50条数据，然后flu...
HBase之HFile索引机制
happy19870612's blog
11-12 2784
HFile索引结构根据索引层级不同分为2种：Single-Level 和 Multi-Level。前者表示单级索引，后者表示多级索引，一般分为2级或者3级。之所以HFile v2引入多级索引是因为，随着HFile文件越来越大，Data Block越来越多，索引数据也越来越多，大到已经无法全部加载到内存，而多级索引可以只是加载部分索引，降低内存的使用空间。
【HBase十】HBase存储文件HFile剖析
bit1129的博客
04-10 320
1. 首先看看HBase中存储的文件内容 执行如下命令添加测试数据： create 'table3', 'colfam1', { SPLITS =&gt; ['row-300', 'row-500', 'row-700' , 'row-900'] }   for i in '0'..'9' do for j in '0'..'9' do for k in '0'..'9' do put...
hbase中的hlog
05-20
当HBase在Region Server上执行写入操作时，会先将操作写入HLog中，然后再将操作应用到内存中的MemStore和持久化存储中的HFile中。这样，在发生Region Server宕机等故障时，就可以通过HLog来恢复数据。 HLog是由一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值