Hive映射已存在的HBase表

最新推荐文章于 2024-06-28 16:13:01 发布
最新推荐文章于 2024-06-28 16:13:01 发布
阅读量7.2k 收藏 3
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdnDAO/article/details/53638937
版权
本文介绍了如何在Hive中映射已存在的HBase表，包括确保HBase相关jar包版本一致，配置Hive的hbase-site.xml，创建Hive外部表并指定字段到HBase列的映射，以及使用Impala验证映射。同时，列举了一些Hive的常用操作命令。
摘要由CSDN通过智能技术生成
1、首先要确保/usr/lib/hive/lib下HBase的jar包的版本要和实际环境中HBase的版本一致，需要用/usr/lib/hbase/li/目录下得jar包做软连接，如下：
ln -s /usr/lib/hbase/lib/hbase-client-1.0.0-cdh5.4.3.jar /usr/lib/hive/lib/hbase-client.jar
ln -s /usr/lib/hbase/lib/hbase-common-1.0.0-cdh5.4.3.jar /usr/lib/hive/lib/hbase-common.jar
ln -s /usr/lib/hbase/lib/hbase-hadoop2-compat-1.0.0-cdh5.4.3.jar /usr/lib/hive/lib/hbase-hadoop2-compat.jar
ln -s /usr/lib/hbase/lib/hbase-hadoop-compat-1.0.0-cdh5.4.3.jar /usr/lib/hive/lib/hbase-hadoop-compat.jar
ln -s /usr/lib/hbase/lib/hbase-protocol-1.0.0-cdh5.4.3.jar /usr/lib/hive/lib/hbase-protocol.jar
ln -s /usr/lib/hbase/lib/hbase-server-1.0.0-cdh5.4.3.jar /usr/lib/hive/lib/hbase-server.jar
ln -s /usr/lib/hbase/lib/htrace-core-3.0.4.jar /usr/lib/hive/lib/htrace-core.jar
ln -s /usr/lib/zookeeper/zookeeper.jar /usr/lib/hive/lib/zookeeper.jar 
执行脚本：
#!/bin/sh
最低0.47元/天 解锁文章
「已注销」
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【Hive】Hive 整合映射 HBase
w1992wishes的博客
11-13 851
文章目录## 一、前言二、适用场景三、依赖条件四、具体使用4.1、Hive 表映射到 Hbase 中4.2、HBase 表映射到 Hive 表中4.3、Hive Map 类型在 HBase 中的映射4.4、 使用 Hive 集成 HBase 表的需注意五、来源 ## 一、前言 HBase 只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询，对于数据分析来说，不太友好。 hive ...
hive建立内部表映射hbase_Hbase 表与Hive 表的映射操作
weixin_39901558的博客
12-19 315
一、环境准备需要将HBase的jar包拷贝到Hive中，以便Hive运行时能访问到Hbase这里演示创建软连接的方式ln -s $HBASE_HOME/lib/HBase-common-1.3.1.jar $HIVE_HOME/lib/HBase-common-1.3.1.jarln-s $HBASE_HOME/lib/HBase-server-1.3.1.jar $HIVE_HOME/lib/...
hive映射hbase
wgyzzzz的博客
10-13 148
文章目录一 hive中建表映射hbase二 建立ORC表 一 hive中建表映射hbase create external table eventskb07.hb_user_friend(row_key STRING, user_id STRING, friend_id STRING) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties ('hbase.columns.mapping'=':key
Hbase表映射成hive中
最新发布
weixin_36388201的博客
06-28 34
Hbase表映射成hive中一、1.Hive内部表，语句如下 1、hive中建表 CREATE TABLE member( m_id string , address_contry string , address_province string , address_city string , info_age...
Hive映射HBase
u011500419的专栏
09-27 219
create external table if not exists wedw_ods.log_status_from_hbase ( m_id string ,order_info_id string ,before_status int ,after_status int ,status_type int ,description string ,gmt_created string ,gmt_modified string ) stored by 'org.apache.h.
Hive映射 Hbase
qq_15009447的博客
06-08 555
hive 映射hbase
Hive映射Hbase
qq_37706484的博客
11-19 714
Hbase表已存在 在Hive里只能创建外部表与其映射 删除Hive表的同时不会删除Hbase表及数据 数据最终存在Hbase中 不能使用load方式向hive导入数据 hive建外部表语句样例： CREATE EXTERNAL TABLE person( key int, name string, age int )STORED BY 'org....
hive建立内部表映射hbase_【Hive】Hive 整合映射 HBase
weixin_42421187的博客
12-29 1078
@[toc]一、前言HBase 只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询，对于数据分析来说，不太友好。hive 整合 hbase 为用户提供一种 sqlOnHbase 的方法。Hive 与 HBase 整合的实现是利用两者本身对外的 API 接口互相通信来完成的，其具体工作交由 Hive 的 lib 目录中的 hive-hbase-handler-xxx.jar 工具类...
hive建立内部表映射hbase_Hive整合映射HBase
weixin_35122994的博客
12-29 568
1.整合操作hive整合hbase实际上是为用户提供一种sqlOnHbase的方法。Hive和HBase通过接口互通，用户可以方便地通过SQL接口进行建表、映射表、查询、删除等操作。由于对于hiveOnHbase表的查询走MR框架，因此查询效率较为缓慢需酌情使用。在非CM管理的CDH集群进行整合时需以下几步：1.拷贝hbase相关jar包、 2.修改配置文件、 3.重启hive服务1> 修...
Hive-Hbase映射
liuyongsheng666的博客
11-24 1482
hbase一张表三个列族，对应hive中三张表案例 hbase(main):003:0> create 'kb15:school_msg','school','balance','stumsg' create external table if not exists school_info( id int, name string, schoolmaster string, teacherNum int, classRoom int ) stored by 'org.apache.hadoop.
Hive映射HBase表的几种方式
12-05 389
1.Hive内部表，语句如下 CREATE TABLE ods.s01_buyer_calllogs_info_ts( key string comment "hbase rowkey", buyer_mobile string comment "手机号", contact_mobile string comment "对方手机号", call_date string co...
Hive映射Hbase表
麦香鸡翅的博客
08-01 5299
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 hive与Hbase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相
hive关联映射hbase
weixin_42348946的博客
07-31 235
CREATE EXTERNAL TABLE hbase_dcs( key string comment “hbase rowkey”, station string comment “站”, area string comment “区”, moduleId string comment “模块ID”, moduleName string comment “模块名字”, name string c...
将hive中的数据映射到HBase
zahuali的博客
07-01 965
HBase 数据的插入可以使用Java API 来写Java 程序逐条倒入，但是不是很方便。利用Hive自带的一个Jar包，可以建立Hive和HBase的映射关系 利用Hive 的insert可以将批量数 据导入到HBase中，还可以通过 Hql 语句进行查询。 具体的配置方法如下： 1、把hive-hbase-handler-0.9.0-cdh4.1.2.jar （CDH5 默认在 /usr/l...
hive映射到hbase及性能分析
斧王，不能再斩杀了吗的博客
10-23 407
HBase中的表 表’lxw1234’有三个列族f1,f2,f3 create 'lxw1234',{NAME => 'f1',VERSIONS => 1},{NAME => 'f2',VERSIONS => 1}, {NAME => 'f3',VERSIONS => 1} 下面设置hive映射hbase SET hbase.zookeeper.quorum...
Hive 与 Hbase表映射（内部表与外部表），Hbase常用命令
Mogeko1的博客
11-03 3480
Hive 与 Hbase表映射（内部表与外部表），Hbase常用命令
Hbase--Hbase数据表映射到Hive中
Natsu_natsu的博客
09-15 664
Hbase数据表映射到Hive中
Spark通过BulkLoad高效将Hive表迁移到HBase
- 在HBase中创建合适的表结构，包括列族（Column Family）和列定义，以匹配Hive表的字段映射。 4. **使用Spark执行BulkLoad**: - 在Spark代码中，调用`HiveContext`提供的`createOrReplaceTempView`方法将Hive表...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值