一、创建测试表
CREATE TABLE `ittemp`.`zxh_test1` (
`col1` VARCHAR(64) COMMENT '测试字段1',
`col2` INT COMMENT '测试字段2',
`col3` DECIMAL(16,2) COMMENT '测试字段3'
)
stored as parquet
PARTITIONED BY (`dt` varchar(8) comment '分区')
COMMENT '测试表1';
二、插入测试数据
insert overwrite `ittemp`.`zxh_test1` partition(dt='20220707') values ('a',1,1.1);
三、spark查询测试
select * from `ittemp`.`zxh_test1`;

四、通过hive新增字段
alter table `ittemp`.`zxh_test1` add columns ( `COL4` VARCHAR(40) comment '测试字段4');

本文介绍了在Hive和Spark环境中遇到的数据不一致问题,包括如何创建测试表、插入数据、查询以及通过Hive新增字段。当通过Hive更新表结构后,Spark查询会报元数据不一致的警告。解决方法是更新Hive的TBLPROPERTIES,确保Spark和Hive的表元数据同步。最后,更新TBLPROPERTIES后,再次查询,告警消失,实现了元数据的一致性。
最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



