Hive建外部表映射到Phoenix

最新推荐文章于 2023-04-25 13:32:24 发布
最新推荐文章于 2023-04-25 13:32:24 发布
阅读量256 收藏
点赞数
分类专栏： 报错 文章标签： hive hbase hadoop Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/double_winter/article/details/129488028
版权

在Hive建外部表映射到Phoenix时，要注意建表的先后顺序。

第一，先建Phoenix

第二，再建Hive的外部表映射

如果先建Hive表，那Phoenix中会同步建表。因为在Hive Create语句指定了Phoenix表名，指定了二者的映射关系。

这就会出现，查看Hive表时显示是外部表，但其实是内部表，若是对Hive表执行了Drop操作，那Phoenix中的表和数据也会被同步删除。。。

由于之前建表忽略了先后顺序的重要性，被Hive的“虚假”外部表属性迷惑，导致删了Phoenix表和数据，还验证了半天是为啥。。。

还是太粗糙了。。。

丢丢稻草人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hive管理表和外部表的区别
01-07
关于Hive数据仓库的管理表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别，在创表的时候，如果不指定，则默认创建管理表。如果不知道此表是什么类型的表的话，可以在hive的命令行里打desc formatted table_name...
HIVE 自建落地表
01-07
自建落地表为什么要自建落地表HIVE SQL创建内/外部表、分区表insert overwrite 向分区表插入数据 为什么要自建落地表 1、公司的大数据资源非常紧张， 2、导数逻辑很复杂； 3、日常导数要求时效性高； 4、部门数仓的...
hive-phoenix映射表
03-26 1071
INTERNAL tables hive管理表的生命周期和数据，hive端建表删掉，phoenix端也一起建表删表 create table phoenix_table ( s1 string, i1 int, f1 float, d1 double ) S...
hive映射hbase，通过phoenix查询该表
weixin_37796929的博客
06-07 1302
rowkey:key(生成规则待定) 列族(单列族)：cf1 列名: id,name,code 1在hive中建表映射到hbase CREATE TABLE tmp.test_hbase_phoenix(key string,id int,name string,code string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageH...
Hive导入数据到HBase,再与Phoenix映射同步
aole9111的博客
09-22 534
1. 创建HBase 表 create 'hbase_test','user' 2. 插入数据 put 'hbase_test','111','user:name','jack' put 'hbase_test','111','user:age','18' 查看HBase 3. 创建Hive外部表关联Hbase create external table hbase_test1( ...
使用外部表将phoenix中数据同步到hive中
wensuting001的博客
04-20 2379
1、新建phoenix中的表 CREATE TABLE CAP.FMS_REF_AAA (MSISDN VARCHAR, PFINFO.AAA VARCHAR, PFINFO.BBB VARCHAR, CONSTRAINT PK_FMS_REF_ENDORSEMENT PRIMARY KEY (MSISDN) ) COLUMN_ENCODED_BYTES=‘NONE’; PFINFO为列簇名（可自行定义） COLUMN_ENCODED_BYTES=‘NONE’ 设置不进行编码，不加HIVE中不能显示数据。
Part4---Phoenix映射Hbase的表
weixin_46408961的博客
04-17 794
问题情况，在使用phoenix操作hbase的表的时候出现phoenix无法读取从hbase中创建的表： ​ 比如通过hbase shell 创建了表：StudentAndCourse ​ 通过Phoenix(也可以使用dbeaver连接phoenix)创建表：STUDENT 在habase shell中的表的包含STUDENT，也包含StudentAndCourse hbase(main):004:0> list TABLE STUDENT SYSTEM.CATALOG SYSTEM.CHILD_
Hive内部表和外部表
01-07
删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元数据(metastore.TBLS、metastore.COLUMNS_V2) 二：location关键字 用于指定hdfs路径，如果不...
hive外部表使用语句
最新发布
07-05
hive外部表使用语句
Hive DDL 之 表
01-07
创建表 语法： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], …)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)...
Hbase集成Phoenix映射
weixin_47099283的博客
10-26 307
Hbase集成Phoenix映射
hive整合phoenix
zlhblogs的博客
04-25 252
一个简单表查询当hive.fetch.task.conversion=more and hive.exec.parallel=true.就可以像在Phoenix CLI一样快。最开始我用的hbase-0.96.2-hadoop2版本，不能整合，这个是需要hbase-client-0.98.21-hadoop2.jar包，更换这个jar包就解决了，但是还是会报下面的错。创建成功，插入也能成功，就是hive查询的时候报错找不到a1列，因为phoenix是aa列。hive表字段与phoenix字段一样就可以了。
hive建表
可乐大牛的博客
02-01 1564
Table 的创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数据会被移动到数据仓库目录中；之后对数据对访问将会直接在数据仓库目录中完成。删除表时，表中的数据和元数据将会被同时删除。 External Table 只有一个过程，加载数据和创建表同时完成（CREATE EXTERNAL TABLE ……LOCATION），实际数据是存储在 LOCATION 后面指定的 HDFS 路径中，并不会移动到数据仓库目录中。若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变
hive数据灌入phoenix
AlexWong的专栏
03-26 1852
apache phoenix！！ 首先需要在hive命令行创建相应的表，映射到phoenix，具体操作如下： add jar hdfs://***/hive_udf/phoenix-core-4.7.1-HBase-1.1-SNAPSHOT.jar; add jar hdfs://***/hive_udf/phoenix-hive-4.7.1-HBase-1.1-SNAPSHOT.jar; ...
hive整合phoenix-创建外表注意事项
zonghequ的博客
08-28 2578
1.phoenix端创建表并插入一条数据 CREATE TABLE export_hive( id decimal(10, 0) not null, branch_no varchar(6) CONSTRAINT pk PRIMARY KEY (id) ); upsert into export_hive (id,branch_no) values (11111,'33333'); 2.hiv...
Phoenix 搭建与报错处理,hbase与phoenix表与表进行关联
Mogeko1的博客
11-04 1555
Phoenix 搭建与报错处理,hbase与phoenix表与表进行关联 Error: ERROR 103 (08004): Unable to establish connection. (state=08004,code=103) Error: SYSTEM.CATALOG (state=08000,code=101)
hive对接phoenix
敲码的汉子
01-17 8151
1.配置 解压phoenix程序包，拷贝phoenix-xx-HBase-xx-hive.jar到hive的lib中 并配置hive-site.xml,增加phoenix-xx-HBase-xx-hive.ja property> name>hive.aux.jars.pathname> value>$HIVE_HOME/lib/phoenix-xx-HBase-xx-hiv
Hbase表映射成hive中
专注技术交流、咨询
01-26 6640
Hbase表映射成hive中 一、1.Hive内部表，语句如下 1、hive中建表 CREATE TABLE member( m_id string , address_contry string , address_province string , address_city string , info_age string , info_birthday string ,
【HBASE插入数据】HBASE与HIVE映射表
qq_35218261的博客
12-27 984
HBASE插入数据
hive建外部表统计数据量
08-03
根据引用[2]中的描述，可以使用外部表来存储原始数据，然后通过内部表进行统计分析。在引用[3]中，使用LOAD DATA命令将数据加载到表中。因此，可以通过查询内部表的数据量来获取统计数据的量。具体的查询语句可以是： ``` SELECT COUNT(*) FROM 内部表名称; ``` 其中，内部表名称是你在创建内部表时指定的表名。这个查询将返回内部表中的记录数，即统计数据的量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值