一、Hbase集成hive
https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
1、说明
Hive与HBase整合在一起，使Hive可以读取HBase中的数据，让Hadoop生态系统中最为常用的两大框架互相结合，使用Hive读取Hbase中的数据。 我们可以使用HQL语句在HBase表上进行查询、插入操作；甚至是进行Join和Union等复杂查询。 整合后的目标： (1). 在hive中创建的表能直接创建保存到hbase中。 (2). 往hive中的表插入数据，数据会同步更新到hbase对应的表中。 (3). hbase对应的列簇值变更，也会在Hive中对应的表中变更。 (4). 实现了多列，多列簇的转化：（示例：hive中3列对应hbase中2列簇） 整合的优缺点： 优点： (1).Hive方便地提供了Hive QL的接口来简化MapReduce的使用， (2).操作方便，hive提供了大量系统功能 缺点： 性能的损失，hive有这样的功能, 他支持通过类似sql语句的语法来操作hbase中的数据, 但是速度慢。 hive与HBase通信： 主要是通过hive 的lib目录下的hive-hbase-handler-x.x.x.jar来实现hive和Hbase通信。
2、准备jar包
#######hive [root@hadoop-senior lib]# cd /opt/modules/hive-0.13.1/lib [root@hadoop-senior lib]# mv guava-11.0.2.jar /tmp/ #######hbase [root@hadoop-senior lib]# cd /opt/modules/hbase-0.98.6-hadoop2/lib [root@hadoop-senior lib]# cp ./guava-12.0.1.jar /opt/modules/hive-0.13.1/lib/ #######hbase [root@hadoop-senior lib]# ln -s /opt/modules/hbase-0.98.6-hadoop2/lib/hbase-common-0.98.6-hadoop2.jar /opt/modules/hive-0.13.1/lib/hbase-common-0.98.6-hadoop2.jar [root@hadoop-senior lib]# ln -s /opt/modules/hbase-0.98.6-hadoop2/lib/hbase-server-0.98.6-hadoop2.jar /opt/modules/hive-0.13.1/lib/hbase-server-0.98.6-hadoop2.jar [root@hadoop-senior lib]# ln -s /opt/modules/hbase-0.98.6-hadoop2/lib/hbase-client-0.98.6-hadoop2.jar /opt/modules/hive-0.13.1/lib/hbase-client-0.98.6-hadoop2.jar [root@hadoop-senior lib]# ln -s /opt/modules/hbase-0.98.6-hadoop2/lib/hbase-protocol-0.98.6-hadoop2.jar /opt/modules/hive-0.13.1/lib/hbase-protocol-0.98.6-hadoop2.jar [root@hadoop-senior lib]# ln -s /opt/modules/hbase-0.98.6-hadoop2/lib/hbase-it-0.98.6-hadoop2.jar /opt/modules/hive-0.13.1/lib/hbase-it-0.98.6-hadoop2.jar [root@hadoop-senior lib]# ln -s /opt/modules/hbase-0.98.6-hadoop2/lib/htrace-core-2.04.jar /opt/modules/hive-0.13.1/lib/htrace-core-2.04.jar
[root@hadoop-senior ~]# ln -s /opt/modules/hbase-0.98.6-hadoop2/lib/hbase-hadoop2-compat-0.98.6-hadoop2.jar /opt/modules/hive-0.13.1/lib/hbase-hadoop2-compat-0.98.6-hadoop2.jar
[root@hadoop-senior ~]# ln -s /opt/modules/hbase-0.98.6-hadoop2/lib/hbase-hadoop-compat-0.98.6-hadoop2.jar /opt/modules/hive-0.13.1/lib/hbase-hadoop-compat-0.98.6-hadoop2.jar
[root@hadoop-senior ~]# ln -s /opt/modules/hbase-0.98.6-hadoop2/lib/high-scale-lib-1.1.1.jar /opt/modules/hive-0.13.1/lib/high-scale-lib-1.1.1.jar
3、hive-site.xml
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop-senior.ibeifeng.com</value>
</property>
4、创建管理表测试
############ 从Hive中创建HBase表 CREATE TABLE hbase_table_1(key int, value string) //Hive中的表名：hbase_table_1 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' //指定存储处理器 WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") //声明rowkey，列族，列名 TBLPROPERTIES ("hbase.table.name" = "xyz"); //hbase.table.name声明HBase表名，为可选属性，默认与Hive的表名相同 ##查看hdfs中的hive目录 [root@hadoop-senior hadoop-2.5.0]# bin/hdfs dfs -ls /user/hive/warehouse |grep hbase drwxr-xr-x - root supergroup 0 2019-05-28 13:01 /user/hive/warehouse/hbase_table_1 ##查看hdfs中的hbase目录 [root@hadoop-senior hadoop-2.5.0]# bin/hdfs dfs -ls /hbase/data/default |grep xyz drwxr-xr-x - root supergroup 0 2019-05-28 13:01 /hbase/data/default/xyz ############ 插入数据 hive (default)> insert overwrite table hbase_table_1 select empno, ename from emp; ##查询数据，数据是存储在hbase中的； hive (default)> select * from hbase_table_1 ; OK hbase_table_1.key hbase_table_1.value 7369 SMITH 7499 ALLEN 7521 WARD 7566 JONES 7654 MARTIN 7698 BLAKE 7782 CLARK 7788 SCOTT 7839 KING 7844 TURNER 7876 ADAMS 7900 JAMES 7902 FORD 7934 MILLER Time taken: 0.105 seconds, Fetched: 14 row(s) hbase(main):001:0> scan 'xyz' ROW COLUMN+CELL 7369 column=cf1:val, timestamp=1559023958169, value=SMITH 7499 column=cf1:val, timestamp=1559023958169, value=ALLEN 7521 column=cf1:val, timestamp=1559023958169, value=WARD 7566 column=cf1:val, timestamp=1559023958169, value=JONES 7654 column=cf1:val, timestamp=1559023958169, value=MARTIN 7698 column=cf1:val, timestamp=1559023958169, value=BLAKE 7782 column=cf1:val, timestamp=1559023958169, value=CLARK 7788 column=cf1:val, timestamp=1559023958169, value=SCOTT 7839 column=cf1:val, timestamp=1559023958169, value=KING 7844 column=cf1:val, timestamp=1559023958169, value=TURNER 7876 column=cf1:val, timestamp=1559023958169, value=ADAMS 7900 column=cf1:val, timestamp=1559023958169, value=JAMES 7902 column=cf1:val, timestamp=1559023958169, value=FORD 7934 column=cf1:val, timestamp=1559023958169, value=MILLER hbase(main):002:0> flush 'xyz' 0 row(s) in 0.1400 seconds [root@hadoop-senior hadoop-2.5.0]# bin/hdfs dfs -ls /hbase/data/default/xyz/1c3bcd4eae0bb8cf534025c57a5c7487/cf1 Found 1 items -rw-r--r-- 1 root supergroup 1491 2019-05-28 14:20 /hbase/data/default/xyz/1c3bcd4eae0bb8cf534025c57a5c7487/cf1/97471b912fd54447b90f162e7f49c765 ##此时是在hive中创建的管理表，如果过将hive中的表删除了，hbase中的表也将被删除；
5、创建外部表
现在已经存在一个HBase表，需要对表中数据进行分析，将hbase表映射到hive中；
##将user表映射到hive中 hbase(main):012:0> scan 'user' ROW COLUMN+CELL 10002 column=info:age, timestamp=1558343570256, value=30 10002 column=info:name, timestamp=1558343559457, value=wangwu 10003 column=info:age, timestamp=1558577830484, value=35 10003 column=info:name, timestamp=1558345826709, value=zhaoliu 2 row(s) in 0.0080 seconds 在hive中创建表： CREATE EXTERNAL TABLE hbase_user(id int, name string,age int) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age") TBLPROPERTIES ("hbase.table.name" = "user"); 查询： hive (default)> select * from hbase_user ; OK hbase_user.id hbase_user.name hbase_user.age 10002 wangwu 30 10003 zhaoliu 35 Time taken: 0.075 seconds, Fetched: 2 row(s) ##此时hive中的表被删除了，hbase中的表不会被删除
二、使用Sqoop导入数据到HBase表中
1、说明
mysql导入hbase可以直接通过sqoop进行；
hbase导出到mysql无法直接进行，需要经过hive的中间作用来完成：
hbase→hive外部表→hive内部表→sqoop导出→mysql
2、操作
借鉴一篇博文：https://blog.csdn.net/thinkpadshi/article/details/77628346
#############
##Sqoop导入hbase
创建mysql表：
mysql> create table test.smq_to_hbase select id,name,name grade from test.smq_mysql;
mysql> update test.smq_to_hbase set grade = '1';
mysql> Alter table test.smq_to_hbase add primary key(id);
创建HBASE表：
hbase(main):008:0> create 'smq_hbase','info'
Sqoop导入hbase中：
root@master bin]# sqoop import --connect jdbc:mysql://192.168.220.20:3306/test --username root --password 123456 \\
--table smq_to_hbase --hbase-table smq_hbase --column-family info --hbase-row-key id
#############
##Sqoop导出hbase
Hbase→hive外部表→hive内部表→通过sqoop→mysql
Mysql创建空表：
mysql> create table test.employee(rowkey int(11),id int(11),name varchar(20),primary key (id));
hbase创建表：
hbase(main):001:0> create 'employee','info'
hbase(main):002:0> put 'employee',1,'info:id',1
hbase(main):003:0> put 'employee',1,'info:name','peter'
hbase(main):004:0> put 'employee',2,'info:id',2
hbase(main):005:0> put 'employee',2,'info:name','paul'
hive创建外部表：
CREATE EXTERNAL TABLE test.h_employee (key int,id int,name string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" =
":key,info:id, info:name"
)
TBLPROPERTIES( "hbase.table.name" = "employee",
"hbase.mapred.output.outputtable" = "employee");
hive创建内部表：
hive> CREATE TABLE test.employee(key INT,id INT,name STRING);
将hive外部表的数据导入内部表中：
hive> insert overwrite table test.employee select * from test.h_employee;
sqoop导出hive表至mysql中：
[root@master bin]# sqoop export -connect jdbc:mysql://192.168.220.20:3306/test -username root -password 123456
-tablemployee -export-dir /user/hive/warehouse/test.db/employee --input-fields-terminated-by '\001' --input-null-string '\\N' --input-null-non-string '\\N';
三、hbase集成hue
1、配置
##hbase 开启Thrift
[root@hadoop-senior hbase-0.98.6-hadoop2]# bin/hbase-daemon.sh start thrift
[root@hadoop-senior hbase-0.98.6-hadoop2]# netstat -ntlp |grep 9090
tcp 0 0 :::9090 :::* LISTEN 2429/java
##修改hue配置文件：hue.ini 大概在800+行；
hbase_clusters=(Cluster|hadoop-senior.ibeifeng.com:9090)
hbase_conf_dir=/opt/modules/hbase-0.98.6-hadoop2/conf
##启动hue
[root@hadoop-senior hue-3.7.0-cdh5.3.6]# su - beifeng
[beifeng@hadoop-senior hue-3.7.0-cdh5.3.6]$ ./build/env/bin/supervisor
1664
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
