基于CDH5.4的hive与hbase的整合

最新推荐文章于 2021-01-22 19:50:01 发布
最新推荐文章于 2021-01-22 19:50:01 发布
阅读量2.4k 收藏 4
点赞数 1
分类专栏： Hive Hbase 文章标签： hbase hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kwu_ganymede/article/details/49095373
版权
本文介绍了如何在CDH5.4环境下整合Hive和HBase，通过添加hive-hbase-handler库，实现两者的协同工作。主要步骤包括将jar包放入HBase的lib目录，并通过Hive执行SQL进行数据导入和查询测试，测试结果显示Hive和HBase的查询均正常。
摘要由CSDN通过智能技术生成

hbase提供实时查询完好的弥补了hive实时查询的不足，现基于CDH5.4的hive与hbase的整合，已经非常成熟。具体步骤如下：

1、把hive-hbase-handler-1.1.0-cdh5.4.0.jar  cp到hbase/lib 下

cp /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hive/lib/hive-hbase-handler-1.1.0-cdh5.4.0.jar /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hbase


2、配置hive-site.xml
<property>
<name>hive.aux.jars.path</name>
最低0.47元/天 解锁文章
kwu_ganymede
关注
专栏目录
CDH的 hive 整合 hbase
あずにゃん梓喵的博客
02-14 2254
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 1.hbase与hive哪些版本兼容？  hive0.90与hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容，不需要自己编译。  hive1.x与hbase0.98.x或则更低版本是兼容的，不需要自己编译。  hive2.x与hbase1.x及比hbase1.x更高版本兼容...
CDH Hive集成Hbase
Rio.的博客
05-16 771
1.背景 Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统，Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。 Hive可以理解为一个客户端工具，将我们的sql操作转换为相应的MapReduce jobs，然后在Hadoop上面运行。 HBase全称为Hadoop Database，即HBase是Hadoop的数据库，是一个...
Apache HBase HBase与Hive的整合
大数据流浪法师的学习笔记与分享
12-20 198
Hive与HBase的整合 hive与我们的HBase各有千秋，各自有着不同的功能，但是归根接地，hive与hbase的数据最终都是存储在hdfs上面的，一般的我们为了存储磁盘的空间，不会将一份数据存储到多个地方，导致磁盘空间的浪费，我们可以直接将数据存入hbase，然后通过hive整合hbase直接使用sql语句分析hbase里面的数据即可，非常方便 需求一：将hive分析结果的数据，保存到HB...
Hive与Hbase整合
某先生的专栏
08-07 1919
Hive与Hbase整合 我们这边开始使用hbase做实时查询，但是分析的任务还是得交给hive,hive计算的结果导入到hbase. hive提供了几个jar包，帮助我们实现： 创建与hbase共享的表，数据（表两边都有，数据只在hbase)映射来自hbase的表到hivehive查询的结果直接导入hbase 启动hive 启动命令如下，主要是指定jar包，以及hbas
docker-cdh5.4:Cloudera CDH 5.4.0
05-23
此目录中的Docker脚本会生成CentOS 6 Docker VM并安装所有CDH组件（Hadoop，Spark，Hbase，Hive，Impala，Hue，Zookeeper，Oozie等）。 如何建立cdh容器？ docker build -t docker-cdh54 . 如何运行cdh容器？ ...
hadoop-2.6.0-cdh5.4.3:基于hadoop-2.6.0-cdh5.4.3版本的二进制阅读，以注释和博客的形式记录阅读笔记
03-23
在这个版本中，CDH5.4.3基于Hadoop的核心版本2.6.0，包含了多个关键组件，如HDFS、MapReduce、YARN、HBase、Hive等。 1. **Hadoop分布式文件系统（HDFS）**：HDFS是Hadoop的核心组件，设计为运行在廉价硬件上，提供...
搭建大数据三节点（Hadoop、Hbase、Zookeeper、Kafka、Hive）环境（含配置文件参考）
qq_36922096的博客
12-31 1033
心之所向，身之所往，己不由心，身又岂能由己，心之所向，一鹿向羊 话不投机半句多，上干货 hbase 集群环境搭建 1)操作系统，ubuntu ,版本信息如下: ceson@ceson01:~/wechat_env$ cat /proc/version Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 (Ubuntu 7.4.0-1ubuntu1~18.04.1)) #58-Ubuntu SMP Mon J
idea 中 Maven下载cdh依赖失败等问题
CY012的博客
07-25 3616
原本是完成 springboot + hbase，在 pom.xml 中添加依赖（springboot采用 1.5.3）： <dependency> <groupId>com.spring4all</groupId> <artifactId>spring-boot-starter-hbase</artifactId> <version>1.0.0.RELEASE
CDH5 HIVE整合Hbase相关配置
michaellou的专栏
03-12 430
版本：cdh5.1.2  包含：hadoop  hbase hive zk 除了常规的配置外需要做如下几个操作： 1.将hbaselib下的hbase-*.jar和htrace-core-2.04.jar都拷到hive lib下； 2.将hbase中的zk配置添加到hive-site.xml中 &lt;property&gt;             &lt;name&gt;hbas...
Hbase与Hive整合
王洋的专栏
12-20 4788
Hbase版本0.96.2 Hive版本0.13 在整合的时候需要将Hbase的部分以Hbase开头的包导入到Hive的lib中，并且，尤其注意一个htrace-core-2.04.jar这个jar包，没有的话会出错。Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstr
HBase与Hive集成使用详解
HoppingMad的博客
01-22 1200
文章目录前言一、导入HBase下的jar包二、添加Zookeeper配置三、通过Hive创建HBase表测试1、进入Hive的shell创建表：2、插入数据总结 前言 HBase作为分布式的NOSQL数据库，并不支持传统的SQL查询，通过将Hive框架与HBase进行集成，我们可以实现使用HQL对HBase的数据进行操作，本文对具体的操作流程进行演示与使用测试： 一、导入HBase下的jar包 当我们使用HBase与Hive集成，其本质是Hive作为HBase的客户端。 因此我们需要让Hive能够读取到H
将CDH中的hive和hbase相互整合使用
aet62619251的博客
09-05 685
一、.hbase与hive的兼容版本： hive0.90与hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容，不需要自己编译。 hive1.x与hbase0.98.x或则更低版本是兼容的，不需要自己编译。 hive2.x与hbase1.x及比hbase1.x更高版本兼容，不需要自己编译。 hive 1.x 与 hbase 1.x整合时，需要自...
Hive安装及与HBase的整合
阳光奶爸的博客
08-31 9321
介绍Hive的工作原理、配置及与HBase的整合。
cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南
weixin_30411997的博客
02-10 510
hue下载地址：https://github.com/cloudera/hue hue学习文档地址：http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html 我目前使用的是hue-3.7.0-cdh5.3.6 hue（HUE=Hadoop User Experience） Hue是一个开源的Apache Ha...
hbase与hive集成：hive读取hbase中数据
weixin_33724659的博客
10-10 273
1、创建hbase jar包到hive lib目录软连接 hive需要jar包： hive-hbase-handler-0.13.1-cdh5.3.6.jar zookeeper-3.4.5-cdh5.3.6.jar guava-12.0.1.jar                  --删除hive下低版本jar包，cp hbase中的到hive/lib/下（即需要注意jar包版本） ln -s...
HBase导入大数据三大方式之（一）——hive类SQL语句方式
luckymelina的专栏
04-03 6519
做大数据时，经常需要用到将大量格式化的文本数据导入到hbase中。此处就用到的三种方式：hive类SQL语句方式、importtsv +completebulkload 方式、mapreduce+completebulkload 方式，做下简单示例。其中当属hive类SQL语句方式最简单，首先介绍之： 实例中，我以虚拟话单作为需要导入的数据，步骤如下： 1、首先在hive创建表，创建hba
Hive与Hbase 整合
mllhxn的专栏
02-24 759
问题 1，创建带分区CREATE TABLE hbase_table_2(key int, value string) PARTITIONED BY (date String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WIT
Cloudera CDH5.4 官方安装指南
CDH5.4安装官方资料是一份详尽的指南，涵盖了从规划到实施的所有关键环节，旨在帮助用户顺利部署和管理基于CDH5.4的Hadoop集群。在实际操作中，应仔细阅读和遵循文档的步骤，确保安装过程的顺利进行。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值