HBase
Rich_Billions
这个作者很懒,什么都没留下…
展开
-
HBase 数量统计
HBase 使用AggregationClient 做数量统计: 报错: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: No registered coprocessor service found原创 2016-08-31 17:41:15 · 4855 阅读 · 1 评论 -
HBase写数据过程
博文说明:1、研究版本HBase 0.94.12;2、贴出的源代码可能会有删减,只保留关键的代码。 从client和server两个方面探讨HBase的写数据过程。 一、client端 1、写数据API 写数据主要是HTable的单条写和批量写两个API,源码如下: //单条写API public void put(final Put put) thro转载 2016-09-13 15:25:51 · 528 阅读 · 0 评论 -
Hive和Hbase整合
Hive创建以Hbase为数据来源的外部表 String[] sqls = new String[3]; StringBuffer sb = new StringBuffer(); sb.append("CREATE EXTERNAL TABLE alarm_log ( "); sb.append("key string, ");//rowkey原创 2016-09-02 11:01:12 · 370 阅读 · 0 评论 -
通过HBase Observer同步数据到ElasticSearch
通过HBase Observer同步数据到ElasticSearchObserver希望解决的问题 HBase是一个分布式的存储体系,数据按照RowKey分成不同的Region,再分配给RegionServer管理。但是RegionServer只承担了存储的功能,如果Region能拥有一部分的计算能力,从而实现一个HBase框架上的MapReduce,那HBase的操作性能将进一转载 2016-09-18 16:37:29 · 952 阅读 · 0 评论 -
HBase错误集
1、hbase 所有配置都做好的,eclipse上面可以运行,部署到服务器上面就不行,连接不上zookeeper: 解决办法:同步服务器的时间和zookeeper节点的时间。 2、运行一段时间后:在取ResultScanner是进入死循环,直到内存溢出: 错误::[org.apache.hadoop.hbase.zookeeper.ZKUtil.getData] - h原创 2017-03-01 11:46:38 · 5117 阅读 · 8 评论 -
txt文件导入HBase
create 'aipai', {NAME=>'info'}: 创建表 describe 'aipai' :查看表结构 scan 'aipai' ,{LIMIT=>20} :查看表前二十条数据 count 'aipai', {INTERVAL => 1000, CACHE => 500} :统计表数据 hadoop fs –put /tmp/hbas原创 2017-03-02 15:43:56 · 5275 阅读 · 1 评论 -
对:通过HBase Observer同步数据到ElasticSearch的使用情况
1、需要把client.prepareUpdate 接口 替换成 client.prepareIndex 接口 @Override public void postPut(ObserverContext e, Put put, WALEdit edit, Durability durability) throws IOException { try {原创 2017-03-14 16:14:51 · 1090 阅读 · 0 评论