hive 添加字段,字段值错位问题

 hive中在表结构中添加字段,并将字段指定到于业务库相对的位置:

alter table ods_test.ods_ppy_op_op_supplier_goods_quote_apply  add columns (storage_id bigint  comment '仓库id') cascade;   
alter table ods_test.ods_ppy_op_op_supplier_goods_quote_apply change storage_id storage_id bigint after supplier_id;

然后 重新抽取业务库数据,select * 发现字段值错位。

因为改日期的分区之前就已经存在,而在元数据的关联关系(如第一张图)是引用的之前的表结构,所以查出来会错位。

解决:

1、直接删除表,重新建立新表,数据重新加载。简单粗暴。

2、修改mysql表的hive元数据,将分区对应的表SD_ID修改为最新的表对的id即可。

3、删除表分区,重新加分区。

alter table ods_test.ods_ppy_op_op_supplier_goods_quote_apply add partition(dateid='2021-08-31');
alter table ods_test.ods_ppy_op_op_supplier_goods_quote_apply add partition(dateid='2021-08-30');
-- 删除多个分区
--alter table ods_test.ods_ppy_finance_settle_return_goods_bill drop partition (dateid >= '2021-05-01', dateid <= '2099-11-01')

执行命令

ALTER TABLE schedule_events drop if exists partition (year>'0');

将所有分区删除,然后执行hive重新根据表的分区来快速建立新分区

MSCK REPAIR TABLE  ods_test.ods_ppy_op_op_supplier_goods_quote_apply;

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值