hbase
anickname
专注大数据技术
展开
-
HBase原理和设计
简介HBase —— Hadoop Database的简称,Google BigTable的另一种开源实现方式,从问世之初,就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能上来讲,HBase不折不扣是一个数据库,与我们熟悉的Oracle、MySQL、MSSQL等一样,对外提供数据的存储和读取服务。而从应用的角度来说,HBase与一般的数据库又有所区别,H转载 2016-01-08 14:38:15 · 1444 阅读 · 0 评论 -
Hbase表数据的导入和导出
Hbase没有提供类似于hive根据已有表的建表建表语句,如在hive中创建一个和已有表表结构完全一样的表可执行SQL:create table tbl_test1 like tbl_test,在hbase只能采用笨办法,将其表结构拷贝出来建表。如:稍作整理:create 'solrHbase2', {NAME => 'f1', DATA_BLOCK_ENCODING =>...原创 2018-05-22 11:43:47 · 41117 阅读 · 1 评论 -
HBase学习之八:自定义hbase协处理器endpoint和遇到的问题
hbase rpc采用protobuf作为数据交换格式,自定义协处理器需要先创建一个protobuf作为rpc的client端和server端的数据请求和响应载体,在windows环境下需下载protobuf工具,如:protoc-2.5.0-win32.zip地址:http://download.csdn.net/detail/javajxz008/9616971解压至文件夹protoc原创 2016-08-30 21:08:05 · 3426 阅读 · 0 评论 -
HBase学习之四: mapreduce处理数据后存储到hbase及错误java.lang.NoClassDefFoundError的解决办法
mapreduce处理数据后存储到hbase源代码(参考网上资料测试OK):map类:package hbase;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapredu原创 2016-07-07 22:25:19 · 9377 阅读 · 2 评论 -
HBase学习之三: hbase filter(过滤器)和coprocessor(协处理器)统计行数的简单应用
1.关于filter的用法及说明参见这三篇博文,基本涵盖了绝大部分filter,很详细,还有实测代码,感谢博主的付出,特收藏.HBase Filter:http://blog.sina.com.cn/s/blog_7431c7c50101c5ig.htmlHBase(0.96以上版本)过滤器Filter详解及实例代码:http://blog.csdn.net/u010967382/arti原创 2016-07-07 22:10:10 · 3962 阅读 · 0 评论 -
HBase学习之二: hbase分页查询
在hbase中可以使用scan做一些简单的查询,但是要实现多条件复杂查询还需要借助filter(过滤器)来完成,甚至还可以自定义filter实现个性化的需求,项目中需要分页查询,记录了其中的核心代码,以便于查阅。zookeeper.properties配置文件内容:hbase_zookeeper_quorum=xxx.com,xxx.com,xxx.comzookeeper...原创 2018-05-22 11:43:15 · 36490 阅读 · 6 评论 -
HBase学习之一: 创建hive和hbase关联表
背景:项目中需要使用HQL对源数据进行分析,分析的结果需要做近似于实时的查询,所以创建的表就需要在hive和hbase之间相关联,此为背景。drop table tbl_hive_test;create external table tbl_hive_test( id string, name string, age string)STORED BY '原创 2016-07-05 19:16:19 · 3703 阅读 · 1 评论 -
HBase学习之七: 如何定位一条记录所属region,如何查看一个region的数据量,如何查看一个Cell的所有版本
1.如何定位一条记录所属regionHTable table = new HTable(conf, "testhbase");HRegionLocation location = table.getRegionLocation("01-1468404017235-1320");HRegionInfo rg = location.getRegionInfo();String regi原创 2016-07-14 22:34:48 · 9482 阅读 · 0 评论 -
HBase学习之六: hbase的预分区设计
背景:HBase默认建表时有一个region,这个region的rowkey是没有边界的,即没有startkey和endkey,在数据写入时,所有数据都会写入这个默认的region,随着数据量的不断 增加,此region已经不能承受不断增长的数据量,会进行split,分成2个region。在此过程中,会产生两个问题:1.数据往一个region上写,会有写热点问题。2.region split会消...原创 2018-05-22 11:43:24 · 38550 阅读 · 17 评论 -
HBase学习之五:HBase的RowKey设计原则
HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有以下几种方式:通过get方式,指定rowkey获取唯一一条记录通过scan方式,设置startRow和stopR转载 2016-07-12 22:05:21 · 40925 阅读 · 3 评论 -
hbase shell常用命令总结
输入help命令看所有命令及分组情况。1.当前用户 whoami2.看hbase服务器状态 status3.看hbase版本 version4.列出所有的表 list5.创建表,可使用create help命令看创建案列 create 't1','cl1','cl2','cl3'说明:表名t1,三个列族cl1,cl2,cl36.查看表详细信息 d原创 2016-02-15 16:47:31 · 730 阅读 · 0 评论 -
hbase无法访问:Reading reply sessionid:0x3000484bfd0001d, packet:: clientPath:null serverPath:null finish
hbase连接打印如下日志,不报错,解决办法是把集群的hosts添加到本地电脑的hosts ,本地电脑hosts的地址一般为:C:\Windows\System32\drivers\etc原创 2018-08-08 15:19:01 · 4438 阅读 · 2 评论