Hive分区表新增字段值为NULL

最新推荐文章于 2022-09-05 11:53:05 发布

Sin_Geek

最新推荐文章于 2022-09-05 11:53:05 发布

阅读量900

点赞数 1

本文链接：https://blog.csdn.net/sin_geek/article/details/88343868

版权

Hive分区表使用ADD COLUMN添加字段后，已存在分区的新增字段值显示为NULL，原因是元数据未更新。解决方案包括：1) 使用DDL语句时添加CASCADE选项；2) 对具体分区执行ADD COLUMN操作后再查询；3) 备份原表，新建表并导入数据；4) 删除并重新创建分区或修复表结构；5) 手动更新元数据库中的表结构信息。

摘要由CSDN通过智能技术生成

背景

对于HIVE分区表通过add column添加字段，向已存在分区中插入数据，结果新增字段的值全部为null。已存在分区会产生该问题，新分区不会产生该问题。

原因

实际上数据是插入成功的。HDFS上的数据更新了，但是我们查询的时候仍然查询的是旧的元数据信息（即Mysql中的信息）

官方解释如下：

Change Column Name/Type/Position/Comment

ALTER TABLE table_name [PARTITION partition_spec] CHANGE [COLUMN] col_old_name col_new_name column_type

[COMMENT col_comment] [FIRST|AFTER column_name] [CASCADE|RESTRICT];
This command will allow users to change a column’s name, data type, comment, or position, or an arbitrary combination of them. The PARTITION clause is available in Hive 0.14.0 and later; see Upgrading Pre-Hive 0.13.0 Decimal Columns for usage. A patch for Hive 0.13 is also available (see HIVE-7971).

The CASCADE|RESTRICT clause is available in Hive 1.1.0. ALTER TABLE CHANGE COLUMN with CASCADE command changes the columns of a table’s