HBase
文章平均质量分 64
magicdreaming
这个作者很懒,什么都没留下…
展开
-
M/R的数据源为HBase时须关闭Speculative Execution
在HBase使用Speculative Execution会加重regionserver的load。 因为用Hadoop map/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。 而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。 强烈建议关闭 Speculative Execution 方法是在jobconf中设定原创 2012-05-30 15:40:04 · 1026 阅读 · 0 评论 -
关于HBase的一些零碎事
原地址:http://www.ningoo.net/html/2011/some_tips_about_hbase.html 目前稳定版本的HBase0.90.2只能基于Hadoop0.20.x系列版本,暂不支持最新的0.21.x。而且官方版本的Hadoop0.20.2(或者0.203.0)缺少一个重要的特性,HDFS不支持sync模式的持久,这样HBase就有较大的丢失数据转载 2012-06-15 13:14:53 · 508 阅读 · 0 评论 -
Region Server意外退出之后…
原地址:http://www.spnguru.com/2011/04/region-server%E6%84%8F%E5%A4%96%E9%80%80%E5%87%BA%E4%B9%8B%E5%90%8E/早晨上班好好的,突然nagios报出一台regionserver挂了。顿时忙碌起来。上去一看,从log中看到这样一条信息2011-04-08 04:02:22,083转载 2012-06-15 10:42:05 · 1413 阅读 · 0 评论 -
使用Hive读取Hbase中的数据
原地址:http://victorzhzh.iteye.com/blog/972406第一步,启动hadoop,命令:./start-all.sh第二步,启动hive,命令:./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hi转载 2012-06-18 14:29:08 · 2824 阅读 · 0 评论 -
Mongodb VS Hbase
转载:http://hi.baidu.com/i1see1you/blog/item/a8038399d9a777286e068c8a.html1.Mongodb bson文档型数据库,整个数据都存在磁盘中,hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样,h转载 2012-07-06 16:23:55 · 30415 阅读 · 3 评论 -
hbase的replication使用
原地址:http://koven2049.iteye.com/blog/983633hbase-0.90.0的一个重要改进是引入了replication机制,使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善,但是今后必然会变得更加重要。 hbase的replication机制很像mysql statement-based replication。它是通过WALEdit和hlo转载 2012-07-06 16:54:23 · 5329 阅读 · 0 评论