hbase
sunny96
这个作者很懒,什么都没留下…
展开
-
关于Memstore的大小设置一点经验。
Hbase的Memstore固化为Hfile的主要触发条件为三个: 1、Hlog的存储文件数目达到上限32(默认配置),一个Hlog的大小默认配置为HDFS的block的95%,这样的话,假定HDFS的块大小为64M,32个文件的话,可以存储的数据量为2G左右。 如果当Hlog的数据达到这个值后,会根据seqid把一些老的region 固化到Hfile中。 2、Memstore的大小设置为...原创 2011-09-12 12:55:03 · 783 阅读 · 0 评论 -
Hbase的性能调优
这里有一些关于性能调优参数的总结和说明,其中有一些自己的经验以及参数书籍《HBase The definitive Guide》: 第一章:GC的相关参数配置 1.swap的设置: 我们需要关闭操作系统的swap或是设置swappiness为0,推荐设置为0,这样只有在物理内存不够的情况下才会使用交换分区。这个参数设置是由于JVM虚拟机如果使用了swap在 GC回收时会花费更多的时间...原创 2011-09-17 21:53:13 · 145 阅读 · 0 评论 -
性能调优(2)
第二章:集群参数的配置 1. zookeeper.session.timeout(默认3分钟) ZK的超期参数,默认配置为3分钟,在生产环境上建议减小这个值在1分钟或更小。 设置原则:这个值越小,当RS故障时Hmaster获知越快,Hlog分裂和region 部署越快,集群恢复时间越短。 但是,设置这个值得原则是留足够的时间进行GC回收,否则会导致频繁的RS当机。 2...原创 2011-09-18 14:33:28 · 105 阅读 · 0 评论 -
HBase0.92 新特性分析。
0.92版本对于HBase有了很大的改进,这里从问题单逐渐分析0.92版本的新特性。从特性看0.92维护功能得到了显著的提高: HBASE-2233 支持hadoop的0.20,0.21以及0.22版本。 HBASE-3839 在WebUI上显示进程的处理状态 HBASE-3837 在WebUI上显示RIT的状态 HBASE-3836 实时跟踪进展的处理任务以及工作流 HBASE-424...原创 2011-09-29 21:51:22 · 103 阅读 · 0 评论