在Hive中操作Phoenix，对比Hive查询Hbase

最新推荐文章于 2024-06-28 12:43:09 发布

王义凯_Rick

最新推荐文章于 2024-06-28 12:43:09 发布

阅读量2.2k

点赞数 3

分类专栏： # Impala/Hive/Kudu # Phoenix # HBase 文章标签： hive phoenix sql hbase 性能

本文为博主原创文章，转载请注明出处http://blog.csdn.net/wsdc0521

本文链接：https://blog.csdn.net/wsdc0521/article/details/106555617

版权

前面介绍过通过Phoenix操作HBase，实现了hbase的SQL语义，以及查询性能的提升，也对比过使用hive查hbase和使用phoenix查hbase的性能，也介绍了如何在hive中查询ES，那么今天我们就尝试在hive中查phoenix。也就是hbase-->Phoenix-->hive这样的链路。

环境

CDH-6.3.1
Hive-2.1.1
Phoenix-5.0.0
Hbase-2.1.0

hive集成phoenix仅支持hive使用mapreduce，tez引擎，不支持spark引擎;
如果启用了kerberos，需要使用同时有hive和hbase权限的用户;

依赖

需要在hive中添加phoenix的jar包依赖，下面的命令是在hive命令行里session级别生效的，如果想全局生效可参考上面的hive操作ES的文章里的内容。phoenix-version-hive.jar包可以在$PHOENIX_HOME/lib下找到。

add jar /home/tools/wyk/phoenix-5.0.0-cdh6.2.0-hive.jar;

验证

在hive中建phoenix内表

在hive中创建Phoenix内部表，hive会管理结构和数据，会自动在phoenix建表，删除hive表的时候对应的Phoenix

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

王义凯_Rick

关注关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

kubernetes 两个 node 的pod 无法互相访问_【Kubernetes系列】第2篇基础概念介绍（上）...

weixin_39754411的博客

11-21

629

1 Pod - 实例Pod是一组紧密关联的容器集合，支持多个容器在一个Pod中共享网络和文件系统，可以通过进程间通信和文件共享这种简单高效的方式完成服务，是Kubernetes调度的基本单位。Pod的设计理念是每个Pod都有一个唯一的IPPod具有如下特征：包含多个共享IPC、Network和UTC namespace的容器，可直接通过localhost通信所有Pod内容器都可以访问共享的Vo...

Phoenix集成 HBase和HBase与Hive集成（三）

May_J_Oldhu的博客

01-07

309

Phoenix集成 HBase和HBase与Hive集成一.Phoenix集成 HBase1.Phoenix字段类型2.操作（1）启动（2）创建表（3）查看表（4）查看表的所有列（5）插入数据（6）查询数据（7）删除数据（8）表关联操作（9）退出二.HBase与Hive的集成1.Hive（1）数据仓库（2）用于数据分析、清洗（3）基于 HDFS、MapReduce2.HBase（1）数据库（2）用于存储结构化和非结构化的数据（3）基于HDFS（4）延迟较低，接入在线业务使用3.HBase与Hive集成使用（

参与评论您还未登录，请先登录后发表或查看评论

Hive实战处理（二十三）hive整合phoenix

sheep8521的博客

01-04

1255

业务表使用hbase存储,使用hive整合phoenix，使用sql语法进行数据查询。

HBase与Hive数据交互

最新发布

qq_40623672的博客

06-28

997

其中t_gdp是原始数据表，tmp_gdp_table是和hbase中gdp表关联的外部表，将t_gdp表中的数据insert到了tmp_gdp_table表中，正常的业务中，可能是查询了多个表，通过sql处理将数据存到tmp_gdp_table中，然后通过外部表映射的方式同步到habse的gdp表中。hive外部表，仅记录数据所在的路径，不对数据的位置做任何改变。两种方式加载hbase中的表到hive中，一是hive创建外部表关联hbase表数据，是hive创建普通表将hbase的数据加载到本地。

Hive on Phoenix

风远陌

11-19

506

简单~ 第一步，参考官网http://phoenix.apache.org/hive_storage_handler.html# 第二步，找到phoenix-xxxx-hive.jar 第三步，Phoenix建表 create table IF NOT EXISTS cz.testtb01 (IDCardNum INTEGER not null primary key, Nam...

Hive集成Phoenix

邢为栋

11-30

1112

Hive支持使用HDFS之外的存储系统作为底层存储系统，其中官方明确支持HBase，Kudu，Druid和JDBC(MySQL等)。 Hive提供了相应的接口 StorageHandlers，用以实现和其他存储系统的整合。 Phoenix实现了相应的接口，可以使用Phoenix作为Hive的底层存储系统，在Hive中操作Phoenix表，并和Hive本地表进行互操作。 Phoenix官网该特性的详细描述可参考 Phoenix Storage Handler for Apache Hive。本文主要描述在C

Phoenix4.8与Hive整合

千里冰封

09-28

2390

站位

hive映射hbase，通过phoenix查询该表

weixin_37796929的博客

06-07

1325

rowkey:key(生成规则待定) 列族(单列族)：cf1 列名: id,name,code 1在hive中建表映射到hbase CREATE TABLE tmp.test_hbase_phoenix(key string,id int,name string,code string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageH...

hive和hbase结合

franklyna的博客

07-30

273

Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询 Hive和HBase集成的配置 1 将hbase 相关jar包拷贝到hive lib目录下 hive-2.3.3/lib/hbase-server-1.1.1.jar,hive-2.3.3/lib/hbase-client-1.1.1.jar,hive-2.3.3...

Sqoop通过Phoenix导hbase数据到hive

11-06

出现此问题时使用：java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43) at org.apache.sqoop....

Phoenix-Hive:初始提交

06-13

#凤凰蜂巢用于 Hive 的 PhoenixStorageHandler ============ 这是 Hive PhoenixStorageHandler 正在进行的工作。在 ETL 工作流中，id 通常对于清理和专门化您的数据以满足低延迟应用程序需求很有意义。就像您的原始数据将移动到 ORC 文件格式的通用数据一样，您的应用程序数据可以以 Phoenix 表结尾，以实现极低的延迟和并发访问。该项目旨在通过提供从 Hive 到 Phoenix 的简单 StorageHandler，使最后一步像 INSERT INTO 一样简单透明限制 ============ 仅适用于 MapReduce 作为执行引擎 (P1) 仅支持 Hive Primitive 类型，基本上缺少 Phoenix (P0) 的 Array Type 非常有限的谓词下推在下一个版本 (P0) 中会变

hive、oracle、phoenix常用函数对照表总结

04-21

大数据hive sql 与 oracle sql 和 phoenix的 sql 函数对照，不同数据仓库都有相同功能但是函数名不同、参数也不同使用方法也不同，顾总结在一起方便使用

hive、oracle、phoenix常用函数对照表

05-20

Oracle PL-SQL 对应 hadoop hive 、 phoenix中常用的对应函数，包括日期函数、逻辑函数等。

HDP3.1.5源码下载—hadoop hbase hive

02-17

标题中的“HDP3.1.5源码下载—hadoop hbase hive”指的是Hortonworks Data Platform（HDP）的3.1.5版本，它是一个全面的大数据解决方案，包含了对Hadoop、HBase和Hive等组件的源代码支持。这个版本是大数据开发者和...

Hbase整合Hive

m0_45847655的博客

09-20

802

Hbase整合Hive

Hbase性能优化【Phoenix、Hive集成HBase】

lyq7269的博客

07-21

1483

一、Phoenix概述 Phoenix简介构建在HBase上的SQL层使用标准SQL在HBase中管理数据使用JDBC来创建表，插入数据、对HBase数据进行查询 Phoenix JDBC Driver容易嵌入到支持JDBC的程序中 Phoenix使HBase更易用 Phoenix应用场景 Phoenix适合场景快速而容易地构建基于HBase的应用程序需要极大的规模、性能和并发性的SQL应用程序在转换到Hadoop时重用已有的SQL技能 BI工具（对SQL支持较好） Phoenix不适合

HBase：NoSQL数据库（END-6.HBase的优化）

weixin_44824495的博客

06-07

541

文章目录1.高可用(HA)2.预分区2.1意义2.2 实现2.2.1 实现一2.2.2 实现二2.2.3实现三2.2.4 API实现3.Rowkey的设计4.布隆过滤器5.内存优化6.基础优化6.1 允许在HDFS的文件中追加内容6.2 优化DataNode允许的最大文件打开数6.3 优化延迟高的数据操作的等待时间6.4 优化数据的写入效率6.5 设置RPC监听数量6.6 优化HStore文件大小6.7 优化HBase客户端缓存6.8 指定scan.next扫描HBase所获取的行数6.9 flush、co

hbase 查询_Hive中操作Phoenix，对比Hive查询Hbase

weixin_39516956的博客

12-01

261

今天我们尝试在hive中查phoenix。也就是hbase-->Phoenix-->hive这样的链路。环境CDH-6.3.1Hive-2.1.1Phoenix-5.0.0Hbase-2.1.0 hive集成phoenix仅支持hive使用mapreduce，tez引擎，不支持spark引擎;如果启用了kerberos，需要使用同时有hive和hbase权限的用户;依赖需要在hive中...

探索HBase与Phoenix的历史、现状与未来：SQL在HBase上的演变

Phoenix最初是作为HBase的一个查询层开发的，它提供了一个SQL接口来操作HBase数据，简化了非结构化数据的管理。讲解了Phoenix的基本概念，如它是如何将SQL映射到HBase的行键和列族模型的。 **第二部分：现在（最近...