Hive分区表增删字段(解决alter table失败问题)

假设我们有个内部表如下:

CREATE TABLE `db_name.user_table_name`(
  `id` string, 
  `user_name` string, 
  `uid` string)
PARTITIONED BY (`date` string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' COLLECTION ITEMS TERMINATED BY '\002' STORED AS PARQUET;

一般情况下,如果我想给这个表增加国家对应的字段,可以通过alter table命令实现,如:

alter table db_name.user_table_name add columns (country string comment '国家') cascade;

但是,如果表里的分区很多,数据量很大,执行这个命令可能出现问题,执行时间超长,甚至报错失败。

为了解决这个问题,提供另外一个增删字段的方案。

  1. 为了确保没有分区缺损问题,首先修复分区表
  2. 如果是内部表,将表更改为外部表;如果是外部表,跳过该步骤(非常重要,删内部表会将所有数据删除,而外部表只会删meta信息)
  3. 执行删除表操作
  4. 创建新的表,新表的结构为更改字段后的结构
  5. 修复表分区
  6. 查看表分区,确认新表正常关联数据
MSCK REPAIR TABLE db_name.user_table_name

alter table db_name.user_table_name set TBLPROPERTIES ('EXTERNAL'='TRUE');

drop table db_name.user_table_name 
CREATE TABLE `db_name.user_table_name `(
  `id` string, 
  `user_name` string, 
  `uid` string, 
  `country` string)
PARTITIONED BY (`date` string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' COLLECTION ITEMS TERMINATED BY '\002' STORED AS PARQUET;

MSCK REPAIR TABLE db_name.user_table_name

SHOW PARTITIONS db_name.user_table_name

 

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值