hive修改字段后查询不了数据

在Hive 2.1.0和Hadoop 2.6.0-cdh-5.13.3环境下,修改表结构添加字段后遇到使用MapReduce查询显示字段值为null的问题,而Spark引擎查询正常。解决方案是按照日期重新关联HDFS数据,编写执行脚本从起始日期的日志处理到最新日志。
摘要由CSDN通过智能技术生成

情况描述

hive版本为: apache-hive-2.1.0
hadoop版本为: apache-hadoop-2.6.0-cdh-5.13.3

修改添加两个字段删除一个字段,但跟日志文件数据是一一对应的。
发现修改后,在hive中用mapreduce查询这两个新加的字段,值为null。
而用hive中用spark引擎却可以找到字段的值。

hive修改字段

通过alert table tablename add column(旧字段1,旧字段2,…,旧字段N,新字段1,新字段2)
修改。

修改

在hive中,修改后发现查询旧字段时正常的,而新加的字段1,字段2值为null。
使用spark引擎,发现该数据查询正常。

解决

分区按日期分,重新关联hdfs。
写个执行脚本,从开始日期的日志当最新的日志

脚本

	#!/bin/sh
	begin = $(date +%s -d "20151101")
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值