Impala查询不到hive数据

最新推荐文章于 2024-05-14 08:20:09 发布
最新推荐文章于 2024-05-14 08:20:09 发布
阅读量4.3k 收藏 1
点赞数 2
分类专栏： 大数据技术 文章标签： impala hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sin_geek/article/details/84993176
版权

背景

hive写入的数据，hive是可以查到数据，impala进行过元数据的刷新，然后查询此表，查询成功，返回结果是空表。

原因

写入数据的SQL里使用了UNION，导致HDFS目录结构多了一层，本来是分区底下直接是数据，使用了UNION后，有几个UNION，分区底下会出现几个文件夹，依次为1,2,3…，文件夹里面才是数据。导致Impala无法访问到具体数据。也许Imapla新版本解决了这个问题，该问题出现的是2.6版本。

方案

  1. 避免最终写入数据时使用UNION，可以先写入临时表，再写入最终表
  2. 直接使用Impala写入数据
Sin_Geek
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解hbase与hive数据同步
08-29
如果直接在Impala里面新增、删除数据库、表或者数据，会自动同步到Hive，无需执行任何命令。 二、Hive与HBase的数据同步 HBase是一种NoSQL数据库，适合存储大量半结构化和非结构化数据。Hive是基于Hadoop的数据...
Impala自动刷新元数据配置.docx
09-07
并且，可以在 Hive 中创建一个表，然后在 Impala 中查询该表，如果能查询到，则表示 Impala 自动刷新元数据配置无误。 通过以上步骤，我们可以配置 Impala 自动刷新元数据配置，从而解决元数据刷新更新慢的问题，...
impala无法查询hive表的数据，或者不能同步hive数据
u013013024的博客
10-14 2680
hive可以查询，但是impala无法查询，一般这种情况是数据类型不对，会导致这种情况。比如你程序插入数据类型是int，但是hive建表是bigint，你impala表就无法查询。 ...
往hive中写入数据，通过impala查询不到数据，通过hive客户端可以查到数据
a8131357leo的博客
08-08 1810
在这种情况下，使用impala查询需要刷新元数据，把元数据信息统计到impala元数据存储中，再做查询。 //重新加载所有库中的所有表 INVALIDATE METADATA //重新加载指定的某个表 INVALIDATE METADATA [table] ...
解决datax写入hdfs到hive查不到数据
最新发布
linweidong的专栏
05-14 306
命令可以查看到文件，但是在Hive中查询数据为空。atax写入到Hive表的过程中。datax日志显示成功，使用。把上面的表修改为非分区表，再次写入时果然有数据了。
hive中查询数据为NULL，impala中查询数据可以正常显示
xiaoyutongxue6的博客
07-15 1704
Impala是以序号形式读取parquet，而Hive是以列形式读取parquet
HIVE新增表在Impala中不能及时查看问题
u011250186的博客
10-26 499
这里基于CDH部署安装的HIVE和Impala，当我们在HIVE中新增一张表时，我们发现在Impala中不能及时查看到新增表，这是因为元数据信息没有及时刷新，在impala里执行invalidate metadata命令刷新元数据即可。 这里我们简单测试 HIVE中新建一张表并查看 CREATE TABLE test_01( id INT,name STRING,sex STRING,dataday STRING); --HIVE中查看新增表 hive> show tables; OK te...
Hive中建表 在Impala 中显示 表不存在 -解决方案
zholeiv5
03-22 1048
执行invalidate metadata命令，更新impala 元数据信息，已解决。 解决方案一：可以看下 Impala 启动 参数是否有问题； 解决方案二：查看Impala 配置是否配制了 元数据检测同步。
大数据分析查询引擎Impala.docx
07-13
【大数据分析查询引擎Impala】 Impala是由Cloudera公司设计和开发的一种高效的大数据分析查询引擎，它专门针对Hadoop生态系统中的HDFS和HBase存储的PB级大数据提供快速的SQL查询能力。与传统的Hive系统相比，Impala...
第7讲Hive数据仓库.pptx
10-12
CLI是最常用的接口，而Client则允许用户连接到Hive Server。WUI通过浏览器访问，提供了一种图形化的交互方式。元数据，包括表的定义、列、分区、属性等，被存储在RDBMS中，如MySQL或Derby。对于Hive的执行流程，它...
impala单机部署手册
08-23
Impala 与 Hive 的关系：Impala 是基于 Hive 的大数据分析查询引擎，直接使用 Hive 的元数据库 Metadata，意味着 Impala 元数据都存储在 Hive 的 metastore 当中，并且 Impala 兼容 Hive 的绝大多数 SQL 语法。...
记一次impala union之后查不出结果的问题
huangrunxing的专栏
05-27 796
select * from ( SELECT * FROM tablea UNION ALL SELECT * FROM tableb UNION ALL SELECT * FROM tablec ) x where id='123' 已知：id='123’这条记录在tableb中是存在的 但是三个表union之后再查就查不到了 原因是union使用的是* tablea结构： id，name tableb结构：name，id tablec结果：id，name union之后字段错位，所以查不到，需要
使用pyhive模块往hive中写入数据，通过impala查询不到数据，通过hive客户端可以查到数据
醉糊涂仙的博客
10-12 764
在这种情况下，使用impala查询需要刷新元数据，把元数据信息统计到impala元数据存储中，再做查询。 //重新加载所有库中的所有表 INVALIDATE METADATA //重新加载指定的某个表 INVALIDATE METADATA [table] ...
面试官：hive表有数据，但为什么impala查询不到数据？
爱开发
02-19 1649
张工是一名程序员，做java开发的，有两年多开发经验，有次到一家软件公司应聘大数据开发岗位，面试官问了他这样一个问题。 hive表有数据，但为什么impala查询不到数据？ 你能说说这是什么情况导致的，有什么办法解决方案吗？ 对于这个问题，我们不妨来回顾下，什么情况下hive表有数据，但impala没有数据的情况。 问题描述 用insert overwrite方式往hive写入的数据，数据写入成功了，在hive查询是可以查到数据的，但在impala刷新元数据后，查询却没有查到，刚开始以为是元数据刷新不成功
impala不能查询hive中新增加的表问题
weixin_34195142的博客
06-12 440
     使用Cloudera Manager部署安装的CDH和Impala，Hive中新增加的表，impala中查询不到，其原因是/etc/impala/conf下面没有hadoop和hive相关的配置文件： 将hadooop-core.xml,hdfs-site.xml,hive-site.xml拷贝到conf下，重启服务即可。  ...
为什么hive启动出错_Impala和Hive的关系（详解）
weixin_39623271的博客
12-01 140
Impala和Hive的关系Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。与Hive的关系Impala 与Hive都是构建在Hadoop之上的数据查询工具各有不同的侧重适应面，但从客户端使...
Hive新增表在Impala查不到问题解决
赵广陆
11-30 1706
1 问题产生 Impala和hive一起使用，当我们在HIVE中新增一张表时，我们发现在Impala中不能及时查看到新增表，这是因为元数据信息没有及时刷新，在impala里执行invalidate metadata命令刷新元数据即可。 这里我们简单测试 HIVE中新建一张表并查看 CREATE TABLE test_01( id INT,name STRING,sex STRING,dataday STRING); --HIVE中查看新增表 hive> show tables; OK test_01
impala查询不到hive里创建的表
A coder of life
03-08 4329
在hive里创建的表在impala里查不到，是因为元数据信息没有刷新，在impala里执行invalidate metadata命令刷新元数据即可。
同一条语句hive和impala查询结果不一致
weixin_38255444的博客
09-18 2577
今天跑py程序，第一次数据错乱，字段对应不上： 分析原因： 测试单独执行，测试单独上传文件，测试hdfs客户端上传文件 最后发现，多次写入错误数据，导致该表的元数据出现混乱，即使是hive的内部表，drop掉表后，重新上传文件到hive的相同表名，使用hive查询没问题，一旦使用impala查询依旧有莫条数据出现字段不对应情况，原因大概是元数据刷新问题，hive在将内部表删除后，impala虽然和hive数共享元数据的，但是impala读取到重新上传的数据时，依旧是上一次的错误元数据，导致文件的offset
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）
05-29
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130465463 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，通过hive和impala两种客户端查询进行比较。 本文前提：熟悉hadoop、hive和impala、kafka、flink等，并且其环境都可正常使用。（在后续的专栏中都会将对应的内容补全，目前已经完成了zookeeper和hadoop的部分。） 本文分为五个部分，即结论、三种文件介绍、需求、实现步骤、实现和网上别人的结论与验证。 由于本文太长，导致阅读可能比较麻烦，故一篇文章分为两篇，第一篇是准备数据，第二篇是查询比较。本文是第二篇。 本文接1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一），阅读本文前需要先阅读第一篇。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值