导入hive表数据为空问题解决

一、现象

           (1)在本地运行hql时,数据可以正常插入,执行hql文件时,数据插入表时,查不到数据。

           (2)使用TEZ引擎时,hql执行不通过,报错;使用MR运行时,可以通过,但是无数据输出。

二、排查

           经过排查,发现sql中有一个三个表union all的语句,只要一执行到这个语句,数据就会为空,hql如下:

  select
    group_id,uid,day
  from ods.tmp 
  union all
  select 
     group_id,uid,day
  from ods.tmp1
  union all
  select
    group_id,uid,day
  from ods.tmp2

于是查了一下这三张表的建表语句发现,卧槽,居然OUTPUTFORMAT不一样,破案了。。。。。。

格式如下:

第一张:

第二张:

第三张:

三、解决方案

思路一:视图【未解决】

      with tmp as依然插不进入数据,测试的时候忘记截图了。。。。可以也实验一下。

思路二:创建临时表【解决】

      create  temporary table 

      因为第二张表和第三张表都是特殊格式,并且格式是一样的,就想着,我把这两张表union all一起,然后插入临时表总可以了吧,谁知道,报错:Invocationexception,得,用不了,那只能一个表建一张临时表了,就是有点麻烦,还在只有两张这样的表。

四、优化

      应该还有更好的方案,再想想,哈哈哈哈

 

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值