Hbase使用
安装
官网下载:Apache HBase – Apache HBase Downloads
1.启动
1.1.启动zookeeper(主机and子机)
zkServer.sh start
1.2.启动hadoop
start-all.sh
1.3.进hbase
start-hbase.sh
[root@bigdata1 hbase]$ bin/hbase shell
2.基操
2.1.namespace的操作
1.查看有哪些命名空间namespace
list_namespace
NAMESPACE
default(创建表时未指定命名空间的话默认在default下)
hbase(系统使用的,用来存放系统相关的元数据信息等,勿随便操作)
2.创建namespace
create_namespace "test"
create_namespace "test01", {"author"=>"sh", "create_time"=>"2022-08-08 08:08:08"}
3.查看namespace
describe_namespace "test01"
4.修改namespace
alter_namespace "test01", {METHOD => 'set', 'author' => 'sihe'}
5.添加或者修改属性
alter_namespace 'ns1', {METHOD => 'set', 'PROPERTY_NAME' => 'PROPERTY_VALUE'}
6.删除属性
alter_namespace 'ns1', {METHOD => 'unset', NAME => ' PROPERTY_NAME '}
如:
alter_namespace "test01", {METHOD => 'unset',NAME => 'author'}
7.删除namespace
hbase(main):010:0> drop_namespace "test01"
注意: 要删除的namespace必须是空的,其下没有表。
2.表操作
1.查看当前数据库中有哪些表
list
2.创建表
create 'student','info'
3.插入数据到表
hbase(main):003:0> put 'student','1001','info:sex','male'
hbase(main):004:0> put 'student','1001','info:age','18'
hbase(main):005:0> put 'student','1002','info:name','Janna'
hbase(main):006:0> put 'student','1002','info:sex','female'
hbase(main):007:0> put 'student','1002','info:age','20'
4.扫描查看表数据
hbase(main):008:0> scan 'student'
hbase(main):009:0> scan 'student',{STARTROW => '1001', STOPROW => '1001'}
hbase(main):010:0> scan 'student',{STARTROW => '1001'}
5.更新指定字段的数据
hbase(main):012:0> put 'student','1001','info:name','Nick'
hbase(main):013:0> put 'student','1001','info:age','30'
6.查看表结构
hbase(main):011:0> describe 'student'
7.更新指定字段的数据
hbase(main):012:0> put 'student','1001','info:name','Nick'
hbase(main):013:0> put 'student','1001','info:age','30'
8.查看“指定行”或“指定列族:列”的数据
hbase(main):014:0> get 'student','1001'
hbase(main):015:0> get 'student','1001','info:name'
8.统计表数据行数
hbase(main):021:0> count 'student'
9.删除数据
删除某rowkey的全部数据:
hbase(main):016:0> deleteall 'student','1001'
删除某rowkey的某一列数据:
hbase(main):017:0> delete 'student','1002','info:sex'
10.清空表数据
hbase(main):018:0> truncate 'student'
提示:清空表的操作顺序为先disable,然后再truncate。
先disable再drop
11.删除表
首先需要先让该表为disable状态:
hbase(main):019:0> disable 'student'
然后才能drop这个表:
hbase(main):020:0> drop 'student'
提示:如果直接drop表,会报错:ERROR: Table student is enabled. Disable it first.
12.变更表信息
将info列族中的数据存放3个版本:
hbase(main):022:0> alter 'student',{NAME=>'info',VERSIONS=>3}
hbase(main):022:0> get 'student','1001',{COLUMN=>'info:name',VERSIONS=>3}
3.Hive与Hbase集成使用
案例一
建立Hive表,关联HBase表,插入数据到Hive表的同时能够影响HBase表。
CREATE TABLE hive_hbase_emp_table(
id int,
ename string,
sale string,
age int,
aparment string
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:sale,info:age,info:aparment")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");
1.hbase/hive可以查看生成对应的表
2.创建临时中间表,用于load数据
CREATE TABLE emp(
id int,
ename string,
sale string,
age int,
aparment string)
row format delimited fields terminated by ',';
3.load数据进emp
不能将数据直接load进Hive所关联HBase的那张表中
load data local inpath '/usr/data/student.txt' into table emp;
4.通过insert命令将数据·载入与hbase关联的表
insert into table hive_hbase_emp_table select * from emp;
set hive.support.concurrency=false;
案例二
在HBase中已经存储了某一张表hbase_emp_table,然后在Hive中创建一个外部表来关联HBase中的hbase_emp_table这张表,使之可以借助Hive来分析HBase这张表中的数据。
1.hive创建外部表
CREATE EXTERNAL TABLE relevance_hbase_emp(
id int,
ename string,
sex string,
age int,
aparment string
)
STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" =
":key,info:ename,info:sex,info:age,info:aparment")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");
2.关联后就可以使用Hive函数进行一些分析操作了
select * from relevance_hbase_emp;