Hbase手工dumping和splitting WAL

最新推荐文章于 2023-11-15 16:01:28 发布
最新推荐文章于 2023-11-15 16:01:28 发布
阅读量271 收藏
点赞数
文章标签： 大数据
1、查看test表
  1. hbase(main):016:0> scan 'test'
  2. ROW COLUMN+CELL
  3.  row-01 column=cf1:id, timestamp=1442020353563, value=1
  4.  row-01 column=cf1:name, timestamp=1442020382276, value=aaa
  5.  row-02 column=cf1:id, timestamp=1442020360143, value=2
  6.  row-02 column=cf1:name, timestamp=1442020388494, value=bbb
  7.  row-03 column=cf1:id, timestamp=1442020364496, value=3
  8.  row-03 column=cf1:name, timestamp=1442020393616, value=ccc
  9.  row-04 column=cf1:id, timestamp=1442020369002, value=4
  10.  row-04 column=cf1:name, timestamp=1442020398557, value=ddd
  11.  row-05 column=cf1:id, timestamp=1442020373493, value=5
  12.  row-05 column=cf1:name, timestamp=1442020404131, value=eee
  13. 5 row(s) in 0.0550 seconds
2、查看Hadoop的日志文件信息
  1. grid@master1:~$ hadoop fs -lsr /hbase
  2. .....................................
  3. drwxr-xr-x - grid supergroup 0 2015-09-12 01:08 /hbase/.logs
  4. drwxr-xr-x - grid supergroup 0 2015-09-12 01:08 /hbase/.logs/slave1,60020,1442020081861
  5. -rw-r--r-- 3 grid supergroup 0 2015-09-12 01:08 /hbase/.logs/slave1,60020,1442020081861/slave1%2C60020%2C1442020081861.1442020084844
  6. drwxr-xr-x - grid supergroup 0 2015-09-12 01:08 /hbase/.logs/slave2,60020,1442020091201
  7. -rw-r--r-- 3 grid supergroup 0 2015-09-12 01:08 /hbase/.logs/slave2,60020,1442020091201/slave2%2C60020%2C1442020091201.1442020094247
  8. drwxr-xr-x - grid supergroup 0 2015-09-12 01:08 /hbase/.logs/slave3,60020,1442020081746
  9. -rw-r--r-- 3 grid supergroup 0 2015-09-12 01:08 /hbase/.logs/slave3,60020,1442020081746/slave3%2C60020%2C1442020081746.1442020084743
  10. .....................................
3、查看类 org.apache.hadoop.hbase.regionserver.wal.HLog功能
  1. grid@master1:~$ hbase org.apache.hadoop.hbase.regionserver.wal.HLog
  2. Usage: HLog <ARGS>
  3. Arguments:
  4.  --dump Dump textual representation of passed one or more files
  5.          For example: HLog --dump hdfs://example.com:9000/hbase/.logs/MACHINE/LOGFILE
  6.  --split Split the passed directory of WAL logs
  7.          For example: HLog --split hdfs://example.com:9000/hbase/.logs/DIR
有2中功能，dump和split
4、dump WAL
  1. grid@master1:~$ hbase org.apache.hadoop.hbase.regionserver.wal.HLog --dump hdfs://master1:9000/hbase/.logs/slave3,60020,1442020081746/slave3%2C60020%2C1442020081746.1442020084743
  2. Sequence 99 from region 1028785192 in table .META.
  3.   Action:
  4.     row: mytab,,1442016078397.1a941894743e7186ab65f8c462d8e7f2.
  5.     column: info:server
  6.     at time: Sat Sep 12 01:08:11 UTC 2015
  7.   Action:
  8.     row: mytab,,1442016078397.1a941894743e7186ab65f8c462d8e7f2.
  9.     column: info:serverstartcode
  10.     at time: Sat Sep 12 01:08:11 UTC 2015
  11. Sequence 100 from region 1028785192 in table .META.
  12.   Action:
  13.     row: mytab,90,1442016078397.c9393e0daec64352e7c8e541c8b2dce3.
  14.     column: info:server
  15.     at time: Sat Sep 12 01:08:11 UTC 2015
  16.   Action:
  17.     row: mytab,90,1442016078397.c9393e0daec64352e7c8e541c8b2dce3.
  18.     column: info:serverstartcode
  19.     at time: Sat Sep 12 01:08:11 UTC 2015
  20. ....................................................................
  1. grid@master1:~$ hbase org.apache.hadoop.hbase.regionserver.wal.HLog --dump hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201/slave2%2C60020%2C1442020091201.1442020094247
  2. Sequence 68 from region 70236052 in table -ROOT-
  3.   Action:
  4.     row: .META.,,1
  5.     column: info:server
  6.     at time: Sat Sep 12 01:08:10 UTC 2015
  7.   Action:
  8.     row: .META.,,1
  9.     column: info:serverstartcode
  10.     at time: Sat Sep 12 01:08:10 UTC 2015
  11. Sequence 95 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  12.   Action:
  13.     row: row-01
  14.     column: cf1:id
  15.     at time: Sat Sep 12 01:12:33 UTC 2015
  16. Sequence 96 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  17.   Action:
  18.     row: row-02
  19.     column: cf1:id
  20.     at time: Sat Sep 12 01:12:40 UTC 2015
  21. Sequence 97 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  22.   Action:
  23.     row: row-03
  24.     column: cf1:id
  25.     at time: Sat Sep 12 01:12:44 UTC 2015
  26. Sequence 98 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  27.   Action:
  28.     row: row-04
  29.     column: cf1:id
  30.     at time: Sat Sep 12 01:12:49 UTC 2015
  31. ....................................................................
  32. Sequence 105 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  33.   Action:
  34.     row: METAROW
  35.     column: METAFAMILY:
  36.     at time: Sat Sep 12 01:13:39 UTC 2015
slave3上的日志都是与mytab表相关的内容，slave2上的日志都是与test表相关的内容，而slave1没有任何信息。
5、使用参数-w过滤行
  1. grid@master1:~$ hbase org.apache.hadoop.hbase.regionserver.wal.HLog --dump hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201/slave2%2C60020%2C1442020091201.1442020094247 -p -w 'row-01'
  2. Sequence 95 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  3.   Action:
  4.     row: row-01
  5.     column: cf1:id
  6.     at time: Sat Sep 12 01:12:33 UTC 2015
  7.     value: 1
  8. Sequence 100 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  9.   Action:
  10.     row: row-01
  11.     column: cf1:name
  12.     at time: Sat Sep 12 01:13:02 UTC 2015
  13.     value: aaa
6、手工splitting WAL
  1. grid@master1:~$ hbase org.apache.hadoop.hbase.regionserver.wal.HLog --split hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201
  2. 15/09/12 01:41:09 INFO wal.HLogSplitter: Splitting 1 hlog(s) in hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201
  3. 15/09/12 01:41:09 DEBUG wal.HLogSplitter: Writer thread Thread[WriterThread-0,5,main]: starting
  4. 15/09/12 01:41:09 DEBUG wal.HLogSplitter: Writer thread Thread[WriterThread-1,5,main]: starting
  5. 15/09/12 01:41:09 DEBUG wal.HLogSplitter: Writer thread Thread[WriterThread-2,5,main]: starting
  6. 15/09/12 01:41:09 INFO wal.HLogSplitter: Splitting hlog 1 of 1: hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201/slave2%2C60020%2C1442020091201.1442020094247, length=0
  7. 15/09/12 01:41:09 WARN wal.HLogSplitter: File hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201/slave2%2C60020%2C1442020091201.1442020094247 might be still open, length is 0
  8. 15/09/12 01:41:09 INFO util.FSHDFSUtils: Recovering lease on dfs file hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201/slave2%2C60020%2C1442020091201.1442020094247
  9. 15/09/12 01:41:09 INFO util.FSHDFSUtils: recoverLease=false, attempt=0 on file=hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201/slave2%2C60020%2C1442020091201.1442020094247 after 2ms
  10. 15/09/12 01:41:12 INFO util.FSHDFSUtils: recoverLease=true, attempt=1 on file=hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201/slave2%2C60020%2C1442020091201.1442020094247 after 3005ms
  11. 15/09/12 01:41:12 DEBUG wal.HLogSplitter: Pushed=12 entries from hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201/slave2%2C60020%2C1442020091201.1442020094247
  12. 15/09/12 01:41:12 INFO wal.HLogSplitter: Waiting for split writer threads to finish
  13. 15/09/12 01:41:12 INFO util.FSUtils: FileSystem doesn't support getDefaultReplication
  14. 15/09/12 01:41:12 INFO util.FSUtils: FileSystem doesn't support getDefaultBlockSize
  15. 15/09/12 01:41:12 INFO util.FSUtils: FileSystem doesn't support getDefaultReplication
  16. 15/09/12 01:41:12 INFO util.FSUtils: FileSystem doesn't support getDefaultBlockSize
  17. 15/09/12 01:41:12 DEBUG wal.SequenceFileLogWriter: using new createWriter -- HADOOP-6840
  18. 15/09/12 01:41:12 DEBUG wal.SequenceFileLogWriter: using new createWriter -- HADOOP-6840
  19. 15/09/12 01:41:12 DEBUG wal.SequenceFileLogWriter: Path=hdfs://master1:9000/hbase/test/5cd0e6afea7d7843a5d28d922d6193f0/recovered.edits/0000000000000000095.temp, syncFs=true, hflush=false, compression=false
  20. 15/09/12 01:41:12 DEBUG wal.SequenceFileLogWriter: Path=hdfs://master1:9000/hbase/-ROOT-/70236052/recovered.edits/0000000000000000068.temp, syncFs=true, hflush=false, compression=false
  21. 15/09/12 01:41:12 DEBUG wal.HLogSplitter: Creating writer path=hdfs://master1:9000/hbase/-ROOT-/70236052/recovered.edits/0000000000000000068.temp region=70236052
  22. 15/09/12 01:41:12 DEBUG wal.HLogSplitter: Creating writer path=hdfs://master1:9000/hbase/test/5cd0e6afea7d7843a5d28d922d6193f0/recovered.edits/0000000000000000095.temp region=5cd0e6afea7d7843a5d28d922d6193f0
  23. 15/09/12 01:41:12 INFO wal.HLogSplitter: Split writers finished
  24. 15/09/12 01:41:12 INFO wal.HLogSplitter: Closed path hdfs://master1:9000/hbase/test/5cd0e6afea7d7843a5d28d922d6193f0/recovered.edits/0000000000000000095.temp (wrote 11 edits in 304ms)
  25. 15/09/12 01:41:12 INFO wal.HLogSplitter: Closed path hdfs://master1:9000/hbase/-ROOT-/70236052/recovered.edits/0000000000000000068.temp (wrote 1 edits in 305ms)
  26. 15/09/12 01:41:12 DEBUG wal.HLogSplitter: Rename hdfs://master1:9000/hbase/test/5cd0e6afea7d7843a5d28d922d6193f0/recovered.edits/0000000000000000095.temp to hdfs://master1:9000/hbase/test/5cd0e6afea7d7843a5d28d922d6193f0/recovered.edits/0000000000000000105
  27. 15/09/12 01:41:12 DEBUG wal.HLogSplitter: Rename hdfs://master1:9000/hbase/-ROOT-/70236052/recovered.edits/0000000000000000068.temp to hdfs://master1:9000/hbase/-ROOT-/70236052/recovered.edits/0000000000000000068
  28. 15/09/12 01:41:12 DEBUG wal.HLogSplitter: Archived processed log hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201/slave2%2C60020%2C1442020091201.1442020094247 to hdfs://master1:9000/hbase/.oldlogs/slave2%2C60020%2C1442020091201.1442020094247
  29. 15/09/12 01:41:12 INFO wal.HLogSplitter: hlog file splitting completed in 3576 ms for hdfs://master1:9000/hbase/.logs/slave2,60020,1442020091201
注意查看上面标红的部分
7、再次查看Hbase文件的变化
  1. grid@master1:~$ hadoop fs -lsr /hbase
  2. ..............................................................
  3. drwxr-xr-x - grid supergroup 0 2015-09-11 23:05 /hbase/-ROOT-/70236052/info
  4. -rw-r--r-- 3 grid supergroup 800 2015-09-11 23:05 /hbase/-ROOT-/70236052/info/17a565df18804731b4eb38bdcc95c262
  5. -rw-r--r-- 3 grid supergroup 1596 2015-09-11 19:21 /hbase/-ROOT-/70236052/info/924e206e22754690b08c8ec8bbf84692
  6. drwxr-xr-x - grid supergroup 0 2015-09-12 01:41 /hbase/-ROOT-/70236052/recovered.edits
  7. -rw-r--r-- 2 grid supergroup 303 2015-09-12 01:41 /hbase/-ROOT-/70236052/recovered.edits/0000000000000000068
  8. .................................................................
  9. drwxr-xr-x - grid supergroup 0 2015-09-12 01:41 /hbase/.logs
  10. drwxr-xr-x - grid supergroup 0 2015-09-12 01:08 /hbase/.logs/slave1,60020,1442020081861
  11. -rw-r--r-- 3 grid supergroup 0 2015-09-12 01:08 /hbase/.logs/slave1,60020,1442020081861/slave1%2C60020%2C1442020081861.1442020084844
  12. drwxr-xr-x - grid supergroup 0 2015-09-12 01:08 /hbase/.logs/slave3,60020,1442020081746
  13. -rw-r--r-- 3 grid supergroup 0 2015-09-12 01:08 /hbase/.logs/slave3,60020,1442020081746/slave3%2C60020%2C1442020081746.1442020084743
  14. .................................................................
  15. drwxr-xr-x - grid supergroup 0 2015-09-12 01:15 /hbase/test/5cd0e6afea7d7843a5d28d922d6193f0/cf1
  16. -rw-r--r-- 3 grid supergroup 954 2015-09-12 01:15 /hbase/test/5cd0e6afea7d7843a5d28d922d6193f0/cf1/6e4df2f70b504d0d87507b7152e2de39
  17. drwxr-xr-x - grid supergroup 0 2015-09-12 01:41 /hbase/test/5cd0e6afea7d7843a5d28d922d6193f0/recovered.edits
  18. -rw-r--r-- 2 grid supergroup 1408 2015-09-12 01:41 /hbase/test/5cd0e6afea7d7843a5d28d922d6193f0/recovered.edits/0000000000000000105
可以看到slave2的WAL文件没有了，但是多出了ROOT和test表的recovered .edits
8、查看recovered .edits文件的内容
  1. grid@master1:~$ hbase org.apache.hadoop.hbase.regionserver.wal.HLog --dump hdfs://master1:9000/hbase/test/5cd0e6afea7d7843a5d28d922d6193f0/recovered.edits/0000000000000000105
  2. Sequence 95 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  3.   Action:
  4.     row: row-01
  5.     column: cf1:id
  6.     at time: Sat Sep 12 01:12:33 UTC 2015
  7. Sequence 96 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  8.   Action:
  9.     row: row-02
  10.     column: cf1:id
  11.     at time: Sat Sep 12 01:12:40 UTC 2015
  12. Sequence 97 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  13.   Action:
  14.     row: row-03
  15.     column: cf1:id
  16.     at time: Sat Sep 12 01:12:44 UTC 2015
  17. ......................................................................
  18. Sequence 105 from region 5cd0e6afea7d7843a5d28d922d6193f0 in table test
  19.   Action:
  20.     row: METAROW
  21.     column: METAFAMILY:
  22.     at time: Sat Sep 12 01:13:39 UTC 2015
  1. grid@master1:~$ hbase org.apache.hadoop.hbase.regionserver.wal.HLog --dump hdfs://master1:9000/hbase/-ROOT-/70236052/recovered.edits/0000000000000000068
  2. Sequence 68 from region 70236052 in table -ROOT-
  3.   Action:
  4.     row: .META.,,1
  5.     column: info:server
  6.     at time: Sat Sep 12 01:08:10 UTC 2015
  7.   Action:
  8.     row: .META.,,1
  9.     column: info:serverstartcode
  10.     at time: Sat Sep 12 01:08:10 UTC 2015
从上面可以看出内容与splitting之前的内容一致。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/12219480/viewspace-1797992/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/12219480/viewspace-1797992/

crj2951
关注
HBase CDC ( WAL日志写入Kafka ) 方案和实操文档
Laurence的技术博客
07-17 624
本文记录HBase CDC ( WAL日志写入Kafka ) 方案的实操步骤，测试使用的方案和环境如下：创建HBase集群在MER 空置台上创建一个EMR集群，选择HBase一个App即可，S3路径使用上一步创建的桶。我们需要一个MSK集群，本文不赘述MSK集群的创建步骤，这个集群须无身份认证，使用PLAINTEXT传输，同时和EMR需能连通。将如下两个包上传至集群所有节点的/usr/lib/hbase/lib/文件下
HBase不同版本中对WAL日志的处理
shanhai3000的博客
11-03 602
我们知道，HBase在处理写流程（put操作）时，RegionServer会先将数据Append到WAL日志中，在写入MemStore，这时就返回客户端通知成功了。但是，在不同的版本中（HBase 1.6和Hbase 2.x），处理WAL的具体逻辑有很大区别。因此，网络中不同的文章可能会让读者感到迷惑，我们不妨从源码中一探究竟。 HBase 2.3.2的流程： 1、对要操作的数据添加行锁（List(RowKey)），并添加读锁（这个锁是HRegion类里的可重入读写锁） 2、对数据更新timestamp字段
hbase 默认目录_HBase：WAL拆分
weixin_36212732的博客
12-30 981
RegionServer服务于许多区域。区域服务器中的所有区域共享相同活动的WAL文件。WAL文件中的每个编辑都包含有关它属于哪个区域的信息。当打开区域时，需要重播属于该区域的WAL文件中的编辑。因此，WAL文件中的编辑必须按区域分组，以便可以重播特定的集合以重新生成特定区域中的数据。按区域对WAL编辑进行分组的过程称为日志拆分。如果区域服务器出现故障，它是恢复数据的关键过程。 在群集启动时由HM...
HBase的WAL机制
热门推荐
吃果冻不吐果冻皮
07-04 1万+
WAL(Write-Ahead-Log)预写日志是HBase的RegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志。在每次Put、Delete等一条记录时，首先将其数据写入到RegionServer对应的HLog文件的过程。 客户端往RegionServer端提交数据的时候，会先写WAL日志，只有当WAL日志写成功以后，客户端才会被告诉提交数据成功，如果写WAL失败会告知
HBase之WAL与Flush
最新发布
zincooo的博客
11-15 464
WAL实现及拆分、Flush触发
Cannot Start HBase Master: SplitLogManager: Error Splitting
i am me，haha，么么哒。。。
04-09 1503
I could not start HBase within Cloudera Manager, the service reported errors. I was initially confused because I could start the Master when the RegionServers were stopped, but as soon as I started a
在Hadoop-3.1.2上安装HBase-2.2.1
一见
11-09 1625
目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装规划 3 3.1. 用户规划 3 3.2. 目录规划 4 4. 相关端口 4 5. 下载安装包 4 6. 修改配置文件 5 6.1. 修改策略 5 6.2. 修改conf/regionservers 5 6.3. 修改conf/hbase-env.sh 5 6.4. 修改conf/log4j.properties...
[Hbase] Hbase优化之禁用wal以及Hfile应
大数据基础入门教程
12-22 2133
1、WAL：write-ahead log 预写日志 灾难恢复，一旦服务器崩溃，通过重放log，即可恢复之前的数据（内存中还没有刷写到磁盘的数据）；如果写入wal操作失败，整个操作就认为是失败。 因此，如果开启wal机制，写操作性能会降低； 如果关闭wal机制，数据在内存中未刷写到磁盘时，server突然宕机，产生数据丢失。 解决办法：不开启wal机制，手工刷新memstore的数据...
HBase预写日志WAL机制
Fys的博客
03-10 5062
预写日志（Write-ahead log，WAL） 最重要的作用是灾难恢复，一旦服务器崩溃，通过重放log，我们可以恢复崩溃之前的数据。如果写入WAL失败，整个操作也将认为失败。 从上图看： 1 客户端对数据执行一个修改操作，如put(),delete(),incr()等。 2 每一个修改被封装到一个KeyValue对象实例，并通过RPC调用发送出来。 3 上述调用成批地发送给含有匹配regio...
HBase WAL 解析
Kuzury
07-04 1万+
WAL(Write-Ahead-Log)是HBase的RegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志。大致过程如下图所示，首先客户端启动一个操作来修改数据，每一个修改都封装到KeyValue对象实例中，并通过RPC调用发送到含有匹配Region的HRegionServer。一旦KeyValue到达，它们就会被发送管理相应行的HRegion实例。数据被写到WAL，然后被
hbase 删除部门wal日志后自我修复
奔跑吧兄弟！
12-16 5137
wal日志被部分删除后，正常启动hbase，hbase先尝试读数据，不断报错，经过大约20分的挣扎后最终发现日志丢失，程序放弃读wal日志，正常启动hbase。wal日志删除的时候没有写数据，数据没有丢失，若刚写完wal日志，还没写数据文件，那估计数据会少量丢失，但是程序会提示写入失败；总体来说hbase的容错能力还是棒棒的 详细错误日志如下： 1、刚开始报错的日志 2013-12-
HBase-WAL相关线程处理逻辑
...
02-28 235
  日志同步线程 HLog$LogSyncer  hbase.regionserver.optionallogflushinterval默认1秒 配置log syncer线程扫描间隔 更新、增加、删除操作会触发一次WAL，而WAL是同步写入到hadoop的，也就是先写WAL，再做更新(或者删除) 这些操作是在handle线程中完成的 1.handle先创建一个WAL，放入队列中 ...
Hbase 技术细节笔记（下）
Kally_Wang的专栏
05-22 620
四、RegionServer的故障恢复我们知道，RegionServer的相关信息保存在ZK中，在RegionServer启动的时候，会在Zookeeper中创建对应的临时节点。RegionServer通过Socket和Zookeeper建立session会话，RegionServer会周期性地向Zookeeper发送ping消息包，以此说明自己还处于存活状态。而Zookeeper收到ping包后...
HBase Log Splitting（日志拆分）
qiruiduni的专栏
12-30 3864
该文主要介绍了HBase在一个region server崩溃后，如何通过日志拆分（Log Split）的方式来恢复丢失的修改，防止数据丢失的。 Log Split（日志拆分） HBase为了提高写的性能，将数据的修改先放到memstore内存中，这样做的缺陷是当region server崩溃时，memstore中的所有修改将会丢失，因为它们还没有被刷写到磁盘上。为了防止这情况造成的数据丢失，H
HBase 日志分割 (log split)
chicm的专栏
11-09 3033
在上一篇博文中，我们提到
Hbase实战问题（二）/hbase/WALs/id,端口,xxxxxxxx-splitting is non empty: Directory is not empty
在前进的路上
06-26 906
hdfs、hbase的集群挂掉，查看hdfs日志 org.apache.hadoop.fs.PathIsNotEmptyDirectoryException:/hbase/WALs/id,端口,xxxxxxxx-splitting is non empty: Directory is not empty
大数据技术-HBase：HBase 日志划分详解
黄刚的技术博客
05-26 5763
我们都知道，hbase数据更新是存储到一个叫做memstore的内存区块，这样可以便于快速写入。当regionserver失效的适合，memstore里面的内容会丢失，因为没有被持久化到磁盘上。为了防止这种情况的数据丢失，更新操作放入memstore的时候被持久化到WAL中。这样可以依据WAL记录的内容对丢失的数据进行replay。 regionserver有多个region。其中的所有regi
【HBase工具】查看解析HLog
我不是春晖
11-27 776
查看解析HLog也是HBase本身自带的一个小工具 使用很简单： $ ${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.regionserver.wal.HLog Usage: HLog Arguments: --dump Dump textual representation of passed one or more fi...
hbase中查看hlog文件内容
沉底的石头
08-14 7219
hbase中除了有查看hfile文件的命令，也提供也查看hlog文件的命令： 在hbase的根目录下有个.logs目录，里面就是hlog文件，一台RegionServer机器对应一个文件。老的hlog文件会被移到.oldlogs目录: [admin@bufer108081.tbc ~/dev/baoniu]$ hadoop fs -ls /hbase-0.90/
"NIIT HBase期末考题库：WAL连接的是什么；属于同一列族的是哪个组件
上述内容涉及了HBase数据库的基本概念和相关知识点，包括WAL与Region的关系、Column Family的概念、HBase的默认块大小、HMaster的作用、Region Server故障处理、HBase Shell的功能、HFile和ZooKeeper在HBase中的作用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值