Hive的联级(cascade)- 修改分区表的字段类型或者增加新字段

一、问题描述

踩坑:数仓的分区表,由于需求需要,要把int类型的字段改为bigint,我直接执行的以下语句:

      alter table table_name change column 字段 字段 bigint;

出现的问题:之后的分区数据可以正常的显示,历史数据查出来的数据为0,无论insert overwrite重新导数据、把有问题的分区数据删掉都不能正常显示。


尝试了在原来基础上执行:alter table table_name change column 字段 字段 bigint cascade; 也不行

二、问题解决

方法:把修改过类型的表drop掉,然后将hdfs上的分区目录文件删掉。
    
执行命令:      drop table table_name;
                hadoop fs -rm -r + hdfs文件路径

最后所有的历史数据重新加载,

Tips:由于我的分区个数少,且历史数据量少,所以我这么做了。
    

三、最佳问题解决

在我们执行更改字段类型、增加字段时,在语句末尾加上cascade就ok了,要不然很麻烦

alter table table_name change column 字段 字段 bigint cascade;

四、cascade知识

1.cascade的中文翻译为“级联”,也就是不仅变更新分区的表结构(metadata),同时也变更旧分区的表结构。

2.对于删除操作也是,级联删除表中的信息,当表A中的字段引用了表B中的字段时,一旦删除B中该字段的信息,表A的信息也自动删除。(当父表的信息删除,子表的信息也自动删除)

3.标准语法如下:

 

  • 1
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive是基于Hadoop数据仓库工具,它支持在已有的分区表上添加字段。如果你想要在分区表增加字段,你需要遵循一些步骤: 1. **停止写入**:确保在修改分区表结构之前,表上的所有写操作都已经完成,因为写操作可能会对数据产生影响。 2. **分析现有表**:使用`DESCRIBE formatted <your_table>`命令检查当前表的结构,包括分区列和现有字段。 3. **修改分区定义**:如果你只想在数据的一部分(例如,特定的分区)中添加字段,你需要创建一个的分区,然后将这部分数据移动到分区。如果是所有分区都增加字段,你可以直接在分区定义中增加。例如,如果你想在所有分区的`year`和`month`基础上添加一个`day`字段,分区定义可能变成`year=2022/month=1/day=<new_field>`。 4. **ALTER TABLE语句**:使用`ALTER TABLE <your_table> ADD PARTITION (year=2022, month=1, day=<new_field>)`或`ALTER TABLE <your_table> ADD COLUMNS <new_column_name> <data_type>`来添加字段。这里 `<new_column_name>`是字段名,`<data_type>`是对应的数据类型。 5. **验证和迁移数据**:再次运行`DESCRIBE formatted`来确认字段已经添加,并检查数据是否正确地移动到了分区或在所有分区中都有这个字段。 6. **重启服务**:可能需要重启Hive服务,让其加载的表结构。 7. **错误处理**:如果遇到问题,确保检查日志,可能会有关于数据不一致或权限不足的提示。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值