关闭

hive分区表增加字段新增字段值为空的bug

4880人阅读 评论(0) 收藏 举报
分类:

关键字: hive, partition, add column

hive JIRA:https://issues.apache.org/jira/browse/HIVE-6131 


最近在查hive版本问题,发现在hive1.1.0和hive1.2.1上,分区表新增字段后新增字段值为空的情况。

网上查了资料,提供了两种解决办法:

1. 修改hive元数据SDS表的CD_ID字段,原因是修改表结构后,元数据库中的SDS中该表对应的CD_ID会改变,但是该表分区下面对应的CD_ID还是原来表的CD_ID

2.删除当前分区重建

这两个办法都不太适应,办法1修改元数据库风险大,办法2可能会导致数据丢失。

老大给的任务是其他办法workaround。

通过测试发现如下规律,先给出结论:

在分区表里增加字段后,向分区表插入数据有两种情况:
1.分区在修改表结构前存在
2.分区在修改表结构前不存在
对于第二种情况,bug不存在
针对第一种情形,
执行alter table denglg add columns(c3 string);  查分区数据新增字段值为空,
需再执行alter table denglg partition(step='1') add columns(c3 string);【假设当前只有step='1'的分区】

具体测试如下,可以参考看看

1.新建分区表,插入两个分区的数据

   CREATE TABLE testtmp.denglg(c1 string, c2 string)PARTITIONED BY (step string);
    insert into table testtmp.denglg partition(step='1') select '1','2' from default.dual;
    insert into table testtmp.denglg partition(step='2') select '11','22' from default.dual;
  hive> select * from denglg where step='1';   hive> select * from denglg where step='2';
  OK                                           OK
  1 2 1                              1122 2 


2.新增字段c3 
alter table denglg add columns(c3 string);
3.向三个分区插入数据
   insert into table testtmp.denglg partition(step='1') select '1','2','3' from default.dual;
   insert into table testtmp.denglg partition(step='2') select '11','22','33' from default.dual;
   insert into table testtmp.denglg partition(step='3') select '111','222','333' from default.dual;
hive> select * from denglg where step='1';
OK
1 2 NULL1
1 2 NULL1
Time taken: 0.122 seconds, Fetched: 2 row(s)
hive> select * from denglg where step='2';
OK
11 22 NULL2
11 22 NULL2
Time taken: 0.075 seconds, Fetched: 2 row(s)
hive> select * from denglg where step='3';
OK
111 222 333 3
Time taken: 0.077 seconds, Fetched: 1 row(s)
发现分区step=3不受影响
4.执行alter table denglg partition(step='1') add columns(c3 string);
hive> select * from denglg where step='1';
OK
1 2 NULL1
1 2 31
Time taken: 0.728 seconds, Fetched: 2 row(s)
hive> select * from denglg where step='2';
OK
11 22 NULL2
11 22 NULL2
验证上述结论正确。


1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:27340次
    • 积分:419
    • 等级:
    • 排名:千里之外
    • 原创:13篇
    • 转载:10篇
    • 译文:0篇
    • 评论:2条
    文章分类
    最新评论