目录
最近在查hive版本问题,发现在hive1.1.0和hive1.2.1上,分区表新增字段后新增字段值为空的情况。网上查了资料,提供了两种解决办法:
1.修改元数据
修改hive元数据SDS表的CD_ID字段,原因是修改表结构后,元数据库中的SDS中该表对应的CD_ID会改变,但是该表分区下面对应的CD_ID还是原来表的CD_ID
2.删除当前分区重建
这两个办法都不太适应,办法1修改元数据库风险大,办法2可能会导致数据丢失。
3.更新指定分区的元数据
老大给的任务是其他办法workaround。
通过测试发现如下规律,先给出结论:
在分区表里增加字段后,向分区表插入数据有两种情况:
1.分区在修改表结构前存在
2.分区在修改表结构前不存在
对于第二种情况,bug不存在
针对第一种情形,
执行alter table denglg add columns(c3 string); 查分区数据新增字段值为空,
需再执行alter table denglg partition(step='1') add columns(c3 string);【假设当前只有step='1'的分区】