![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
上岸の鱼
站在巨人的肩膀上,心怀敬畏,谦卑。这个行业技术更迭非常快,需要坚持持续学习的状态,希望到70岁还能敲得动代码。
展开
-
重载getSplits自定义hbase mapreduce时map数量
mapreduce任务map数量由InputFomat类的getSplits决定,例如FileInputFormat,则实现是通过输入源文件数决定map数量;mapreduce同时最多运行的任务数由yarn配置决定,为cpu vcores*节点数。它们两个一起影响着任务同时运行的容器数量(Running Containers)。 采用TableMapReduceUtil实现的从hbase读原创 2016-10-25 18:01:37 · 2698 阅读 · 6 评论 -
hbase创建表抛出TableExist异常
hbase异常启动不起来后,从hdfs中删除hbase的文件,重新建表,抛出TableExist异常。原因是zookeeper上还残留hbase表的信息,需要删除即可。即通过zkCli.sh进行zookeeper后,delete /hbase/table/its007-meta原创 2016-10-26 11:29:50 · 1074 阅读 · 0 评论 -
hbase集群断电数据被破坏无法启动
集群机器意外断电重启,导致hbase 无法正常启动,抛出reflect invocation异常,可能是正在执行的插入或合并等操作进行到一半时中断,导致部分数据文件不完整格式不正确或在hdfs上block块不完整。在网上查了一下相关资料,怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整,故把hbase.hlog.split.skip.errors改成true进原创 2016-10-26 10:09:56 · 3747 阅读 · 0 评论