Hbase
文章平均质量分 70
看穿数据之美
机器学习/深度学习/数据挖掘/推荐算法,微信为oppo62258801(同13011197941),邮箱为lcqbit11@163.com,欢迎学习交流!
展开
-
Hbase 多版本
hbase支持多版本存储,其一条数据的多版本是以timestamp来标识的。设置多版本.新建测试表hbase(main):032:0* create 'tmp_mutilversion', {NAME => 'f', VERSIONS => 5}0 row(s) in 2.2860 secondshbase(main):006:0> desc 'tmp_mutil...原创 2020-04-15 11:43:15 · 2448 阅读 · 0 评论 -
hbase split
hbase split因为已经进行了预分区,在参数配置时,我们将hbase.hregion.max.filesize调整至了30G(32212254720),但是在测试中发现,还是会在表或者是region不到30G发生了split,日志中可见发生split信息。又碰到一个和major compaction差不多,设置了相应参数却不能唯一控制situation的参数。相关资料整理如下:Hba...原创 2018-10-31 09:50:38 · 1177 阅读 · 0 评论 -
hbase compaction
hbase compaction最近发现在habse中,hbase.hregion.majorcompaction已经设置为0,日志中发现还存在major compaction的发生。将相关资料整理如下。compaction 分为minor compaction和major compaction。major compaction 把所有hfile文件compact成一个单独的文件。在执行c...原创 2018-10-30 10:25:10 · 2649 阅读 · 0 评论 -
hbase region move
hbase使用过程中,由于负载不均衡,或者出于某种需要,要将某些区域移动至指定的RS,即区域移动,方法很简单,hbase shell中输入移动回车查看移动用法:hbase(main):001:0> moveERROR: wrong number of arguments (0 for 1)Here is some help for this command:Move a re...原创 2018-11-14 14:13:52 · 2694 阅读 · 0 评论 -
hbase hbck
hbase hbck是hbase自带的一项肥肠实用的工具,很多hbase中出现的问题都可以尝试用hbase hbck修复。新版本的hbck从 hdfs目录、META、RegionServer这三处获得region的Table和Region的相关信息,根据这些信息判断并尝试进行repair。 新版本的 hbck 可以修复各种错误,修复选项是:(请注意选项后面是否需要加具体表名) (1)-...原创 2018-11-19 14:18:22 · 5291 阅读 · 0 评论 -
hbase : Slow ReadProcessor read fields
在测试时,经常会看到hbase日志里有报DFSClient Slow ReadProcessor read fields的消息。2018-11-28 18:20:34,394 WARN org.apache.hadoop.hdfs.DFSClient: Slow ReadProcessor read fields took 31274ms (threshold=30000ms); ack: ...原创 2018-11-28 20:18:41 · 7943 阅读 · 1 评论