hive中在表结构中添加字段,并将字段指定到于业务库相对的位置:
alter table ods_test.ods_ppy_op_op_supplier_goods_quote_apply add columns (storage_id bigint comment '仓库id') cascade;
alter table ods_test.ods_ppy_op_op_supplier_goods_quote_apply change storage_id storage_id bigint after supplier_id;
然后 重新抽取业务库数据,select * 发现字段值错位。
因为改日期的分区之前就已经存在,而在元数据的关联关系(如第一张图)是引用的之前的表结构,所以查出来会错位。
解决:
1、直接删除表,重新建立新表,数据重新加载。简单粗暴。
2、修改mysql表的hive元数据,将分区对应的表SD_ID修改为最新的表对的id即可。
3、删除表分区,重新加分区。
alter table ods_test.ods_ppy_op_op_supplier_goods_quote_apply add partition(dateid='2021-08-31');
alter table ods_test.ods_ppy_op_op_supplier_goods_quote_apply add partition(dateid='2021-08-30');
-- 删除多个分区
--alter table ods_test.ods_ppy_finance_settle_return_goods_bill drop partition (dateid >= '2021-05-01', dateid <= '2099-11-01')
执行命令
ALTER TABLE schedule_events drop if exists partition (year>'0');
将所有分区删除,然后执行hive重新根据表的分区来快速建立新分区
MSCK REPAIR TABLE ods_test.ods_ppy_op_op_supplier_goods_quote_apply;