Hbase使用笔记

1. 安装

  1. hbase可以不依靠hadoop hadfs基于文件系统单独安装,仅供学习
  2. 使用cloudera安装整个hadoop体系,包括hbase数据库
    建议在一台机器下载一次包,然后将该包scp到其它机器上,否则下载速度太慢
    从https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/目录下用wget下载所有的包
    例如 wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
    生产环境至少5台机器:两台name node,三台data node
    2.Hbase简介

3.Hbase学习资源
Hbase权威指南的github源码,里面的hush是一个完整的短路径服务工程源码

4.Hbase shell

5.Hbase设计原则
字典顺序排列存储
命名空间、列族、行键尽量小,列族建议用f1,f2这种命名

6.实用SQL
1.创建命名空间,相当于mysql的数据库,这样开发和测试环境可以共用一套cloudera环境

create_namespace 'devdb1'

2.创建表,开启布隆过滤器和GZ压缩

create 'devdb1:table1' ,{NAME => 'f1', DATA_BLOCK_ENCODING => 'DIFF', BLOOMFILTER => 'ROW', COMPRESSION => 'GZ', VERSIONS => '1'},{NAME => 'f2', DATA_BLOCK_ENCODING => 'DIFF', BLOOMFILTER => 'ROW', COMPRESSION => 'GZ', VERSIONS => '1'}

3.基于HIVE做查询
第一步: hive cli 进入hive的shell界面,创建HIVE表和HBASE表的关联
可以将整个列族当做map映射,注意key只能是string类型

CREATE EXTERNAL TABLE TEST(key string, dayid string, content string) 
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:dayId,f1:content")
    TBLPROPERTIES("hbase.table.name" = "TEST", "hbase.mapred.output.outputtable" = "TEST");

CREATE EXTERNAL TABLE TEST(key string, f1 map<string,string>,f2 map<string,string>) 
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:,f2:")
    TBLPROPERTIES("hbase.table.name" = "TEST", "hbase.mapred.output.outputtable" = "TEST");

第二步:安装sqoop、oozie、hue,利用hue的Web UI在浏览器中用sql命令查询

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值