hbase
文章平均质量分 78
kntao
互联网行业广告含义,分布式数据存储,大数据计算。
展开
-
关于Hbase的集群管理
1、如果只增加集群的存储量,建议增加hadoop datanode节点。方法:停掉集群包括hadoop和hbase,当然也可以不停掉,直接在hadoop namenode的配置文件Slave里添加新节点的host,别忘了在host文件里也要添加新添加的host名。执行bin/start-all.sh启动集群如果不手动作平衡,插入的数据将会放在新添加的节点上。以趋于平衡。如果手动平衡原创 2012-07-20 23:36:35 · 3205 阅读 · 4 评论 -
Hbase 错误记录及修改方法
1. Hbase 在运行或者操作过程中经常发生各种各样的问题,大部分问题是可以通过修改配置文件来解决的,当然可以修改源代码。当hbase的并发量上来的时候,经常会导致Hbase出现“ Too Many Open Files”(打开的文件过多)的问题,日志记录如下:2012-06-01 16:05:22,776 INFO org.apache.hadoop.hdfs.DFSClient:原创 2012-06-07 16:56:09 · 5326 阅读 · 0 评论 -
Hbase,Zookeeper性能优化之-参数设置
zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionServer接管.调优:这个tim转载 2012-06-07 16:55:19 · 6751 阅读 · 1 评论 -
每隔一段时间,hbase 的读就会停顿10s的原因及解决办法
产生的原因:前段时间由于设置region server 的heapsize 为16g,使得block cache 的大小变为16g*0.4=3.2g,查看日志发现了jvm 隔一段时间会出现如下日志:2015-03-24 16:09:27,405 WARN org.apache.hadoop.hbase.util.JvmPauseMonitor: Detected pause in JVM or ho原创 2015-03-24 17:48:35 · 17315 阅读 · 2 评论