hive 修改分区表的字段类型采坑

hive 修改分区表的字段类型采坑

hive的联级cascade - 修改分区表的字段类型或者增加新字段

一、问题描述

踩坑：数仓的分区表，需要将varchar(38)类型的字段改为varchar(50),我直接执行的一下的语句：

alter table table_name change column 字段 字段 varchar(50);

出现的问题：之后的分区数据可以正常显示，历史数据查出来的数据为38为的数据，无论insert overwrite 重新导入数据、把有问题的分区数据删除都不能正常显示。

尝试了在原来的基础上执行: alter table table_name change column 字段 字段 bigint cascade; 也不行

二、问题解决

方法：把修改过类型的表drop掉，然后将hadf上的分区目录文件删除。

执行命令：drop table table_name;

hadoop fs -rm -r + hdfs 文件路径

最后所有的历史数据重新加载。

分区少的话，且历史数据量小的，可以这样做

三、最佳的文件解决

在我们执行更改字段类型、增加字段时，在语句末尾加上cascade就可以了，要不然很麻烦

alter table table_name change column 字段 字段 varchar(50) cascade；

四、cascade

cascade 的中文翻译为“级联”，也就是不仅变更新分区的表结构(metadata),同时也变更旧分区的表结构。

对于删除操作也是，级联删除表中的信息，当表a中的字段引用了表b中的字段时，一旦删除b中该字段的信息，表a的信息也自动删除。当（父表的信息删除，子表的信息也自动删除）

hive表新增字段时，官方给的语法结构，其中cascade选项为选填的字段，但是对于分区表，一定要加上，否则其历史分区的元数据信息（metadate）将无法正常更新，导致访问历史分区时会报莫名的错误。