hbase
文章平均质量分 70
stark_summer
这个作者很懒,什么都没留下…
展开
-
HBase 系统架构
HBase 系统架构图 组成部件说明 Client: 使用HBase RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作 Client与HRegionServer进行数据读写类操作 Zookeeper: Zookeeper Quorum存储-ROOT-表地址、HMa原创 2015-03-10 13:46:54 · 17603 阅读 · 0 评论 -
非mapreduce生成Hfile,然后导入hbase当中
最近一个群友的boss让研究hbase,让hbase的入库速度达到5w+/s,这可愁死了,4台个人电脑组成的集群,多线程入库调了好久,速度也才1w左右,都没有达到理想的那种速度,然后就想到了这种方式,但是网上多是用mapreduce来实现入库,而现在的需求是实时入库,不生成文件了,所以就只能自己用代码实现了,但是网上查了很多资料都没有查到,最后在一个网友的指引下,看了源码,最后找到了生成Hfile原创 2015-03-10 13:50:49 · 16794 阅读 · 0 评论 -
HBase 1.1.1 发布(分布式数据库)
HBase 1.1.1 发布下载:hbase-1.1.1-bin.tar.gzhbase-1.1.1-bin.tar.gz.mdshbase-1.1.1-src.tar.gzhbase-1.1.1-src.tar.gz.mds更新内容如下:** 子任务 * [HBASE-13470] - High level Int原创 2015-08-04 11:29:03 · 15715 阅读 · 1 评论 -
java.lang.IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString
hadoop mr 或者 spark 操作 hbase时候就出现这个错误 这是hbase的bug,可在jira上看到该问题:https://issues.apache.org/jira/browse/HBASE-10304报错信息:15/08/17 19:28:33 ERROR yarn.ApplicationMaster: User class threw exception: org.apa原创 2015-08-18 12:01:41 · 30754 阅读 · 0 评论 -
hbase数据迁移方式
之前要hbase数据迁移,我使用Export/Import方式,感觉很棒,链接如下: http://blog.csdn.net/stark_summer/article/details/49078471,后来发现还有其他两种方式,so就全部整理下吧。copytable方式bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.ad原创 2015-10-21 15:25:32 · 20746 阅读 · 0 评论