情况描述
hive版本为: apache-hive-2.1.0
hadoop版本为: apache-hadoop-2.6.0-cdh-5.13.3
修改添加两个字段删除一个字段,但跟日志文件数据是一一对应的。
发现修改后,在hive中用mapreduce查询这两个新加的字段,值为null。
而用hive中用spark引擎却可以找到字段的值。
hive修改字段
通过alert table tablename add column(旧字段1,旧字段2,…,旧字段N,新字段1,新字段2)
修改。
修改
在hive中,修改后发现查询旧字段时正常的,而新加的字段1,字段2值为null。
使用spark引擎,发现该数据查询正常。
解决
分区按日期分,重新关联hdfs。
写个执行脚本,从开始日期的日志当最新的日志
脚本
#!/bin/sh
begin = $(date +%s -d "20151101")