【配置】Hive整合HBase

最新推荐文章于 2022-09-14 17:07:26 发布
最新推荐文章于 2022-09-14 17:07:26 发布
阅读量644 收藏
点赞数
文章标签： hbase hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZoeYen_/article/details/78805264
版权
本文详细介绍了如何配置Hive以整合HBase，包括将HBase的jar包添加到hive的lib目录，修改hive-site.xml和hive-env.sh配置文件，以及启动Hive。在配置成功后，文章展示了如何准备测试数据，创建并加载数据到Hive和HBase，执行查询，以及创建和访问Hive外部表来操作HBase数据。
摘要由CSDN通过智能技术生成

一、配置

1.将HBase相关jar包拷贝到hive的lib目录下

这里写图片描述

2.修改hive-site.xml配置文件

①将上述jar包添加到hive-site.xml配置的hive.aux.jars.path属性中。

这里写图片描述

②修改hive.zookeeper.quorum属性。

这里写图片描述

③添加hbase.zookeeper.quorum属性。

这里写图片描述

3.修改hive-env.sh配置文件

copy一份模板文件

这里写图片描述

修改

这里写图片描述

4.启动hive
12

最低0.47元/天 解锁文章
ZoeYen_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive整合Hbase
m0_73734232的博客
11-04 424
hive与hbase的整合
Hive和Hbase整合
KamRoseLee的博客
11-19 454
Hive和Hbase同步 https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration 1、把hive-hbase-handler-1.2.1.jar  cp到hbase/lib 下     同时把hbase中的所有的jar，cp到hive/lib 2、在hive的配置文件增加属性：   <property>  ...
hive hbase 配置
zh350229319的专栏
05-02 1640
hive hbase 配置 标签（空格分隔）： hive Hive2.x 版本的安装及配置 Hive2.x 版本的安装及配置 HiveServer2的高可用-HA配置 hive metastore ha 配置 hive和hbase整合 在hive-site.xml中添加，$HIVE_HOME改成hive的目录，不能使用HIVE_HOME，system...
hive和hbase整合
weixin_43861634的博客
09-14 507
在hive中创建临时表。hive和hbase同步。
Hive和HBase整合
天道酬勤的博客
11-09 4743
hive hbase 整合
hive 整合 hbase
10-10
### Hive整合HBase知识点解析 #### 一、HBase简介及特性 HBase是一个构建在Hadoop分布式文件系统（HDFS）之上的分布式、可扩展的列式存储系统。它被设计用来处理海量数据，提供了高可靠性和高性能的数据访问能力。...
Hive整合HBase资源文件.zip
05-19
标题 "Hive整合HBase资源文件.zip" 指向的是一个关于如何将Apache Hive与Apache HBase集成的教程或工具包。Hive是大数据处理领域的一个重要组件，主要用于结构化数据的查询和分析，而HBase则是一个分布式、列式存储...
Hadoop Hive与Hbase整合
07-15
另外，需要注意的是，在整合Hive和Hbase时，需要注意配置文件的正确性和一致性，否则可能会出现各种错误和问题。例如，如果hive-site.xml文件中的配置信息不正确，可能会导致Hive无法连接到Hbase数据库。同时，如果...
大数据工具篇之Hive与HBase整合完整教程
07-03
### 大数据工具篇之Hive与HBase整合完整教程 #### 一、引言 在大数据处理领域，Hive 和 HBase 是两种非常重要的工具。Hive 是一种数据仓库工具，可以用来进行数据提取、转换和加载（ETL），同时提供了一种 SQL ...
hive与hbase整合
ping的博客
06-20 1266
Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的，其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现，通信原理如下图所示。Hive整合HBase后的使用场景：（一）通过Hive把数据加载到HBase中，数据源可以是文件也可以是Hive中的表。（二）通过整合，让HBase支持JOIN、GROUP等S...
Hive on Hbase
weixin_33734785的博客
04-05 246
为什么80%的码农都做不了架构师？>>> ...
HBase与hive整合
bitmao888的博客
05-22 1072
文章目录HBase与hive的对比HiveHBase总结：Hive与HBasehive与HBase的整合需求一：将hive分析结果的数据，保存到HBase当中去第一步：拷贝hbase的五个依赖jar包到hive的lib目录下第二步：修改hive的配置文件第三步：修改hive-env.sh配置文件添加以下配置第四步：hive当中建表并加载以下数据第五步：创建hive管理表与HBase进行映射第六步：hbase当中查看表hbase_score需求二：创建hive外部表，映射HBase当中已有的表模型，直接通过第
hive on hbase
weixin_42934205的博客
08-23 555
hive on hbase
Hbase和Hive整合，Hive读Hbase的表内容
Mafeng 的博客
07-04 1771
经过一下午，终于测试成功。前期：Hapood平台、Zookeeper、Hbase、Hive都安装好。（安装可以参考其它资源）本Demo版本：jdk1.8.0_171，hadoop-2.7.3，zookeeper-3.4.9，mysql-5.6.40-linux-glibc2.12-x86_64，hbase-1.2.4，apache-hive-2.1.1-binroot@master lib]#...
hive安装配置以及集成hbase
huanghai的专栏
04-26 871
前期条件：已经安装完hadoop、hbase和元数据配置库mysql。 1、下载hive:http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0.tar.gz 2、配置hive： 解压文件在hadoop上的一个节点：tar zxvf hive-0.9.0.tar.gz 进入conf目录： cp -rp hive-default.
hbase与Hive的集成
秋雨ヾ的博客
07-20 323
告诉hive，hbase放到哪了？export HBASE_HOME=/data/hbase/hbase-2.2.2先登录hbase,在进入hive操作hbase创建表格式例： -- 创建一张表,有两列,key int,另外一个是value string类型 CREATE TABLE hbase_table_1(key int, val string) -- 这个代码写死 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' -- hiv
Hbase_Hbase与hive整合
weixin_44449054的博客
02-25 327
标题hbase与hive的对比hive与HBase的整合1.步骤2.案例一：将hive分析结果的数据，保存到HBase当中去3.案例二：创建hive外部表，映射HBase当中已有的表模型 hbase与hive的对比 Hive HBase 数据仓库 数据库 Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。 是一种面向列存储的非关系型数据库。 用于数据分析、清洗 用于存储结构化和非结构话的数据 基于HDFS、MapRe
hive整合hbase incompatibleclasschangeerrot
最新发布
09-15
在Hadoop生态系统中，Hive是一个用于数据仓库和数据分析的开源工具，而HBase是一个开源的、分布式的、非关系型数据库。在某些情况下，因为版本不兼容或者依赖关系错误，可能会发生Hive整合HBase时出现IncompatibleClassChangeError（不兼容的类变更错误）。 IncompatibleClassChangeError是Java虚拟机（JVM）在运行期间抛出的错误，它表示在编译时使用的类与运行时使用的类发生了不兼容的变化。当Hive试图整合HBase时，如果Hive代码使用了HBase中的类，但实际运行时使用的HBase库与Hive编译时使用的库不兼容，就会出现这个错误。 解决这个问题的步骤如下： 1. 检查HBase和Hive的版本是否兼容。在整合Hive和HBase之前，确保使用的HBase版本与Hive版本兼容，并遵循它们之间的兼容性要求。 2. 检查依赖关系。在使用Hive整合HBase时，确保在Hive配置文件（hive-site.xml）中正确地设置了HBase相关的依赖。这包括指定HBase的主机名、端口号和表名等。 3. 检查类路径。确保在Hive运行期间正确配置了HBase的类路径，以便可以找到所需的HBase类。这可以通过检查Hive和HBase的环境变量设置或者Hive的启动脚本来完成。 4. 更新Hive和HBase的库。如果以上步骤都没有解决问题，可能需要升级Hive和HBase的库版本，以确保它们之间的兼容性。 综上所述，Hive整合HBase时出现IncompatibleClassChangeError错误可能是由于版本不兼容或者依赖关系错误导致的。通过检查版本兼容性、依赖关系、类路径和库更新等措施，可以解决这个问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值