Hbase集成Hive实战案列

最新推荐文章于 2024-08-02 09:53:15 发布
最新推荐文章于 2024-08-02 09:53:15 发布
阅读量314 收藏 2
点赞数
分类专栏： 大数据技术分享 文章标签： hbase hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40453404/article/details/104551700
版权

HBase集成Hive

  • Hive提供了与HBase的集成，使得能够在HBase表上使用hive sql 语句进行查询、插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到Hbase中

1、HBase与Hive的对比

1.1、Hive

  • 数据仓库

    Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。

  • 用于数据分析、清洗

    Hive适用于离线的数据分析和清洗，延迟较高

  • 基于HDFS、MapReduce

    Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。（不要钻不需要执行MapReduce代码的情况的牛角尖）
    在这里插入图片描述

1.2、HBase

  • 数据库

    是一种面向列存储的非关系型数据库。

  • 用于存储结构化和非结构话的数据

    适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。

  • 基于HDFS

    数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进行管理。

  • 延迟较低，接入在线业务使用

    面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度。

1.3、总结：Hive与HBase

  • Hive和Hbase是两种基于Hadoop的不同技术，Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到HBase，或者从HBase写回Hive。

2 整合配置

2.1、拷贝jar包

  • 将我们HBase的五个jar包拷贝到hive的lib目录下

  • hbase的jar包都在/opt/install/hbase-1.2.0-cdh5.14.2/lib

  • 我们需要拷贝五个jar包名字如下

hbase-client-1.2.0-cdh5.14.2.jar                  
hbase-hadoop2-compat-1.2.0-cdh5.14.2.jar 
hbase-hadoop-compat-1.2.0-cdh5.14.2.jar  
hbase-it-1.2.0-cdh5.14.2.jar    
hbase-server-1.2.0-cdh5.14.2.jar
  • 我们直接在node03执行以下命令，通过创建软连接的方式来进行jar包的依赖
ln -s /opt/install/hbase-1.2.0-cdh5.14.2/lib/hbase-client-1.2.0-cdh5.14.2.jar              /opt/install/hive-1.1.0-cdh5.14.2/lib/hbase-client-1.2.0-cdh5.14.2.jar   

ln -s /opt/install/hbase-1.2.0-cdh5.14.2/lib/hbase-hadoop2-compat-1.2.0-cdh5.14.2.jar      /opt/install/hive-1.1.0-cdh5.14.2/lib/hbase-hadoop2-compat-1.2.0-cdh5.14.2.jar             
ln -s /opt/install/hbase-1.2.0-cdh5.14.2/lib/hbase-hadoop-compat-1.2.0-cdh5.14.2.jar       /opt/install/hive-1.1.0-cdh5.14.2/lib/hbase-hadoop-compat-1.2.0-cdh5.14.2.jar            
ln -s /opt/install/hbase-1.2.0-cdh5.14.2/lib/hbase-it-1.2.0-cdh5.14.2.jar     /opt/install/hive-1.1.0-cdh5.14.2/lib/hbase-it-1.2.0-cdh5.14.2.jar    

ln -s /opt/install/hbase-1.2.0-cdh5.14.2/lib/hbase-server-1.2.0-cdh5.14.2.jar          /opt/install/hive-1.1.0-cdh5.14.2/lib/hbase-server-1.2.0-cdh5.14.2.jar

2.2、修改hive的配置文件

  • 编辑node03服务器上面的hive的配置文件hive-site.xml
cd /opt/install/hive-1.1.0-cdh5.14.2/conf
vim hive-site.xml
  • 添加以下两个属性的配置
	<property>
		<name>hive.zookeeper.quorum</name>
		<value>node01,node02,node03</value>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>node01,node02,node03</value>
	</property>

2.3修改hive-env.sh配置文件

cd /opt/install/hive-1.1.0-cdh5.14.2/conf
vim hive-env.sh
  • 添加以下配置
export HADOOP_HOME=/opt/install/hadoop-2.6.0-cdh5.14.2/
export HBASE_HOME=/opt/install/servers/hbase-1.2.0-cdh5.14.2
export HIVE_CONF_DIR=/opt/install/hive-1.1.0-cdh5.14.2/conf

3 hive表当中分析的结果保存到hbase表

3.1 hive当中建表

  • node03执行以下命令，进入hive客户端，并创建hive表
cd /opt/install/hive-1.1.0-cdh5.14.2/
bin/hive
  • 创建hive数据库与hive对应的数据库表
create database course;
use course;

create external table if not exists course.score(id int,cname string,score int) row format delimited fields terminated by '\t' stored as textfile ;

3.2 准备数据内容如下并加载到hive表

  • node03执行以下命令，创建数据文件
cd /opt/install/
mkdir hivedatas

cd /opt/install/hivedatas
vim hive-hbase.txt
  • 文件内容如下
1	zhangsan	80
2	lisi	60
3	wangwu	30
4	zhaoliu	70
  • 进入hive客户端进行加载数据
hive (course)> load data local inpath '/opt/install/hivedatas/hive-hbase.txt' into table score;
hive (course)> select * from score;

3.3 创建hive管理表与HBase进行映射

  • 我们可以创建一个hive的管理表与hbase当中的表进行映射，hive管理表当中的数据，都会存储到hbase上面去

  • hive当中创建内部表

create table course.hbase_score(id int,cname string,score int) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'  with serdeproperties("hbase.columns.mapping" = "cf:name,cf:score") tblproperties("hbase.table.name" = "hbase_score");
  • 通过insert overwrite select 插入数据
insert overwrite table course.hbase_score select id,cname,score from course.score;

3.4 hbase当中查看表hbase_score

  • 进入hbase的客户端查看表hbase_score，并查看当中的数据
hbase(main):023:0> list

TABLE                                                                                 hbase_score                                                                           myuser                                                                                 myuser2                                    student                                                                               user                                                                                   5 row(s) in 0.0210 seconds
=> ["hbase_score", "myuser", "myuser2", "student", "user"]

hbase(main):024:0> scan 'hbase_score'

ROW                      COLUMN+CELL                                                   
 1                       column=cf:name, timestamp=1550628395266, value=zhangsan       
 1                       column=cf:score, timestamp=1550628395266, value=80           
 2                       column=cf:name, timestamp=1550628395266, value=lisi           
 2                       column=cf:score, timestamp=1550628395266, value=60           
 3                       column=cf:name, timestamp=1550628395266, value=wangwu         
 3                       column=cf:score, timestamp=1550628395266, value=30           
 4                       column=cf:name, timestamp=1550628395266, value=zhaoliu       
 4                       column=cf:score, timestamp=1550628395266, value=70           
4 row(s) in 0.0360 seconds

4、hive外部表映射HBase表

4.1、HBase当中创建表并手动插入加载一些数据

  • 进入HBase的shell客户端，
bin/hbase shell
  • 手动创建一张表，并插入加载一些数据进去
# 创建一张表
create 'hbase_hive_score',{ NAME =>'cf'}
# 通过put插入数据到hbase表
put 'hbase_hive_score','1','cf:name','zhangsan'
put 'hbase_hive_score','1','cf:score', '95'
put 'hbase_hive_score','2','cf:name','lisi'
put 'hbase_hive_score','2','cf:score', '96'
put 'hbase_hive_score','3','cf:name','wangwu'
put 'hbase_hive_score','3','cf:score', '97'

4.2、建立hive的外部表映射HBase当中的表

  • 在hive当中建立外部表

  • 进入hive客户端，然后执行以下命令进行创建hive外部表，就可以实现映射HBase当中的表数据

CREATE external TABLE course.hbase2hive
(id int, 
 name string,
 score int) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:name,cf:score") 
TBLPROPERTIES("hbase.table.name" ="hbase_hive_score");
  • 查看hive表course.hbase2hive
select * from course.hbase2hive;
充满元气的Code猿
关注
专栏目录
HBase实战：HBase与Hive集成
大数据基础入门教程
12-22 332
1.1 HBase与Hive的对比 Hive HBase 特点 类SQL 数据仓库 NoSQL （Key-value） 适用场景 离线数据分析和清洗 适合在线业务 延迟 延迟高 延迟低 存储位置 存储在HDFS 存储在HDFS 1.2 HBase与Hive集成使用 1.环境准备 因为后续可能会在操作H...
HBase集成Hive详解
weixin_43230682的博客
08-25 587
目录 一、HBase与Hive的对比 二、HBase整合Hive配置 三、需求一：将Hive表当中分析的结果保存到HBase表 四、需求二：创建Hive外部表，映射HBase当中已有的表模型 Hive提供了与HBase的集成，使得能够在HBase表上使用hive sql 语句进行查询、插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到Hbase中。 一、HBase与Hive的对比 Hive 数据仓库 Hive的本质其实就相当于将HDFS中已经存储的文
hbase到hive
chbxw
12-29 2222
hbase 到 hive
Hive与HBase的对比与区别
最新发布
My_wife_QBL的博客
08-02 809
Hive和HBase都是大数据生态系统中不可或缺的组成部分，各自在数据处理和存储方面具有独特的优势和特性。使用Hive的场景：如果需要进行批量数据处理、复杂的SQL查询和数据分析，Hive是一个理想的选择。它适合于需要处理大量历史数据和生成报告的场景。使用HBase的场景：如果需要实时数据存储和处理，尤其是高并发的随机读写，HBase将是更合适的选择。它适合于需要快速响应和处理实时数据的应用。
HBase数据迁移至Hive
ailv8451的博客
09-25 473
背景：需要将HBase中表xyz（列簇cf1，列val）迁移至Hive 1. 建立Hive和HBase的映射关系 1.1 运行hive shell进入hive命令行模式，运行如下脚本 CREATE EXTERNAL TABLE hbase_student(key int, value string) STORED BY 'org.apache.hadoop.hive....
hbase和hive整合实战
Fenggms的博客
10-13 587
hbase表映射到hive表中 ①　在hbase中创建表：表名hbase_test, 有三个列族 f1、f2、f3
HIVE和HBASE区别
s646575997的博客
05-22 621
1. 两者分别是什么？Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Hdaoop上批量的执行。Apache HBase是一种Key/Value系统，它运行在HDFS之上。
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
Hbase与Hive的集成
asd623444055的博客
03-27 357
1.HBase与Hive的对比 1．Hive (1) 数据仓库 Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。 (2) 用于数据分析、清洗 Hive适用于离线的数据分析和清洗，延迟较高。 (3) 基于HDFS、MapReduce Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。 2．HBase (1) 数据库 是一种面向列族存储的非关系型数据库。 (2) 用于存储结构化
Phoenix集成 HBase和HBase与Hive集成（三）
May_J_Oldhu的博客
01-07 332
Phoenix集成 HBase和HBase与Hive集成一.Phoenix集成 HBase1.Phoenix字段类型2.操作（1）启动（2）创建表（3）查看表（4）查看表的所有列（5）插入数据（6）查询数据（7）删除数据（8）表关联操作（9）退出二.HBase与Hive的集成1.Hive（1）数据仓库（2）用于数据分析、清洗（3）基于 HDFS、MapReduce2.HBase（1）数据库（2）用于存储结构化和非结构化的数据（3）基于HDFS（4）延迟较低，接入在线业务使用3.HBase与Hive集成使用（
Hbase整合Hive
m0_45847655的博客
09-20 815
Hbase整合Hive
Hive与HBase集成实践
静下心来好好学习
01-24 1050
@ 2016-05-30 具体步骤 拷贝jar包 在Hive的类路径中添加一些这些jar包 Hive集成HBase的原理 Storage Handler 使用 字段映射 示例 多列和列族 Hive的Map字段与HBase列族 问题汇总 向集成表中插入数据时报错 环境说明 CentOS 6.7 Hadoop 2.7.2 Hive
Hive整合Hbase
qq_53114527的博客
11-03 459
Hive整合Hbase
HBASE与HIVE转换
q2842360795的博客
11-01 1359
hive-to-hbase 在hive中建表 create table if not exists employee ( uid int, uname string, age int, sex string, province string ) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties( "hbase.columns.mapping"=":key,base_info:name,base_
Hive-Hbase
haiziccc的专栏
08-23 106
1. you can create a table and insert data to it on Hbase first; 2. Create table links on hive, –create external table classes(id int, name string, age int) –STORED BY 'org.apache.hadoop.hive.hbase.H...
hive到hbase
chbxw
12-29 1686
hive到hbase
数据转移-从HBase到Hive
肥猫
07-16 9320
HBase是hadoop生态圈非常重要的一个环节，也是存储数据的仓库之一。和Hive类似，都是在Linux系统下使用，其语法比较类似于SQL语言，却于Hive QS/MySQL等有着一定的区别。这里，将HBase的使用方法记录下来。 详细的入门教程可移步：https://www.yiibai.com/hbase/ ...
将数据从hbase导入到hive
wgyzzzz的博客
07-23 3245
文章目录一、选定hbase上的一个表二、在hive上创建映射表三、查看结果 一、选定hbase上的一个表 选定test0721表 hbase(main):001:0> list TABLE SYSTEM.CATALOG SYSTEM.FUNCTION SYSTEM.LOG SYSTEM.MUTEX SYSTEM.SEQUENCE SYSTEM.STATS test0721 7 row(s) in 0.1500 seconds => ["SYSTEM.CATALOG", "SYSTEM.FUNC
Hbase/Hive知识概要
TU_JCN的博客
07-07 3119
hbase，hive
Hadoop-HBase-Hive集群安装配置实战指南
"这份文档详细介绍了在Hadoop2.4、Hbase0.98和Hive环境下构建集群的步骤和配置，适用于初学者。它涵盖了从基础的硬件配置到各个组件的安装与运行，包括Zookeeper、HDFS、YARN以及HBase和Hive的集群设置。" 在构建一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值