Hive的联级（cascade）-新增字段(column)后，旧分区无法更新数据问题

最新推荐文章于 2024-04-23 07:00:00 发布
最新推荐文章于 2024-04-23 07:00:00 发布
阅读量1.7w 收藏 19
点赞数 6
分类专栏： HIVE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shammy_feng/article/details/100043979
版权
当在Hive中新增字段时，如果使用ADD COLUMNS命令，旧分区的字段不会更新。通过添加CASCADE关键字，可以确保旧分区的表结构也得到更新。这在Hive 1.1.0及更高版本中可用，但某些低版本可能不支持，需要通过备份、删除和重新插入数据来实现。
摘要由CSDN通过智能技术生成

转载博客地址：https://blog.csdn.net/elecjack/article/details/89391244

问题描述：

实际应用中，常常存在修改数据表结构的需求，比如：增加一个新字段。

如果使用如下语句新增列，可以成功添加列col1。但如果数据表tb已经有旧的分区（例如：dt=20190101），则该旧分区中的col1将为空且无法更新，即便insert overwrite该分区也不会生效。

alter table tb add columns(col1 string);

解决方法：

解决方法很简单，就是增加col1时加上cascade关键字。示例如下：

alter table tb add columns(col1
最低0.47元/天 解锁文章
 shammy
关注
专栏目录
HIVE分区表添加字段cascade 执行时间过长出现bug
xw514124202的博客
05-20 3864
执行hive分区表添加字段命令 alter table db_name.staging_user_log_minutes add columns( `ext_main_business_line` string COMMENT '主业务线' ) cascade; 因为历史分区量太大，所以执行命令花了很长的时间，正好又有新的调度任务写入新分区，导致有的分区没有添加上新的字段 找到问题路径（通过...
hive的踩坑经验1
weixin_41708343的博客
11-01 472
hive的踩坑经验1 一、hive表中新增字段或者修改字段时，需要使用cascade方式，否则新增字段，回刷数据还是存在为null的情况。 解决方案一： 1、ALTER TABLE tablename ADD COLUMNS (is_delete int COMMENT ‘是否进行删除的标记字段’) cascade; 然后回刷数据即可。 解决方案二: 2、ALTER TABLE tablename...
[Hive]新增字段(column)后，旧分区无法更新数据问题
JackFeng's Blog
04-16 6712
问题描述： 实际应用中，常常存在修改数据表结构的需求，比如：增加一个新字段。 如果使用如下语句新增列，可以成功添加列col1。但如果数据表tb已经有旧的分区（例如：dt=20190101），则该旧分区中的col1将为空且无法更新，即便insert overwrite该分区也不会生效。 alter table tb add columns(col1 stri...
hive replace替换多个_Hive新增字段(column)后，旧分区无法更新数据问题
weixin_39736007的博客
11-27 1132
遇到的问题： 今天给一个hive表增加一个新字段，使用如下语句alter table industry_db.product add columns(industry_id string comment ‘行业id);hive数据库表，显示了新增加的字段，我以为添加成功。但如果hive数据表p_date="20200306" 已经有旧的分区 的industry_id将为空且无法更新，即便i...
hive 表新增字段后更新分区无法显示数据
weixin_34203426的博客
01-18 511
解决方案： 1、删除分区后重新跑数据 alter table drop partition(分区字段=“”)； 2、新增字段运行程序后其实数据已经有了，只是查询hive的时候无法显示出来， 这个时候只要刷新一下表结构就出来了 ALTER TABLE name REPLACE COLUMNS (col_spec[, col_spec ...])； 转载于:https://w...
HIVE 中的 CASCADE关键字
sx157559322的博客
07-10 1338
“才感春来 忽而已夏????”THE ROMANCE OF SPRING简要解释CASCADE的中文翻译为"级联"，顾名思义就是就是与之有联系的。在针对HIVE也就是不仅变更新分区的表结构（metadata），同时也变更旧分区的表结构。接下来我们要验证这个关键字对分区表新增字段之后有什么影响？背景说明在生产环境中,由于用户对HIVE知识了解不深,在针对分区表时对表新增字段,没有使用cascade关键字...
hive表新增字段或者修改字段
04-20
然而，在执行这些操作后，可能会遇到一个问题，即在修改或新增字段后，数据无法保存。这主要是由于Hive的元数据管理机制：在Hive 1.1.0版本之前，表的元数据和分区的元数据是合并管理的；但在1.1.0及以后版本，分区...
hive表指定分区字段搜索_Hive学习-Hive基本操作（建库、建表、分区表、写数据）...
weixin_39710660的博客
12-19 1614
hive简单认识Hive是建立在HDFS之上的数据仓库，所以Hive的数据全部存储在HDFS上。Hive的数据分为两部分，一部分是存在HDFS上的具体数据，一部分是描述这些具体数据的元数据信息，一般Hive的元数据存在MySQL上。Hive是类SQL语法的数据查询、计算、分析工具，执行引擎默认的是MapReduce，可以设置为Spark、Tez。Hive分内部表和外部表，外部表在建表的同时指定一个...
Hive分区表新增字段值为NULL
Sin_Geek成长の迹
03-08 873
背景 对于HIVE分区表通过add column添加字段，向已存在分区中插入数据，结果新增字段的值全部为null。 已存在分区会产生该问题，新分区不会产生该问题。 原因 实际上数据是插入成功的。HDFS上的数据更新了，但是我们查询的时候仍然查询的是旧的元数据信息（即Mysql中的信息） 官方解释如下： Change Column Name/Type/Position/Comment ALTER T...
hive sql详解 经典
04-23
NULL 博文链接：https://chengjianxiaoxue.iteye.com/blog/2261339
Hive 分区表新增字段 cascade
qq_45124566的博客
03-14 3489
Hive 分区表新增字段 cascade
在已有的hive表新增一列，但是已有分区数据显示为null
weixin_42903419的博客
12-28 849
在已有的hive表新增一列，然后对新增列之前的分区写入数据，hive查询该列全是null，但presto查询是有数据的一、造成hive查询为null的原因是？总结： 一、造成hive查询为null的原因是？ 原因是修改Hive分区表结构以后，元数据库中的SDS中该表对应的CD_ID会改变，但是该表分区下面对应的CD_ID还是原来表的CD_ID。SDS表主要保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。 参考https://blog.csdn.net/gxd520
Hive中CASCADE关键字的作用
weixin_46661574的博客
03-08 758
CASCADE级联对HIve建表的作用
hive分区表新增字段(add columns)后旧分区报错/字段无法写入(CASCADE)
Lyx_h的博客
09-04 5496
1.问题描述 日常工作中我们经常会给hive表新增字段，常见的新增方式多为： ALTER TABLE db.table_test add columns (new string comment '我是新字段') ; 如果我们的表是分区表，那常常就会出现一些问题： 查询旧分区时会莫名其妙的出现 FAILED:Execution Error,return code 2 from XXXXXX 等报错 insert overwrite时 旧分区新增的字段无法更新 2.解决办法 通过查询官方文档，可以发现官方
【hive】—原有分区表新增加列(alter table xxx add columns (xxx string) cascade；)
sodaloveer的博客
09-11 2646
原有分区表新增加列(alter table xxx add columns (xxx string) cascade;)
Hive的联级（cascade）- 修改分区表的字段类型或者增加新字段
热门推荐
Markble
01-28 1万+
一、问题描述 踩坑：数仓的分区表，由于需求需要，要把int类型的字段改为bigint，我直接执行的以下语句： alter table table_name change column 字段 字段 bigint; 出现的问题：之后的分区数据可以正常的显示，历史数据查出来的数据为0，无论insert overwrite重新导数据、把有问题的分区数据删掉都不能正常显示。 尝试了在原来基础上执行：alter table table_name change column 字段 字段 bigin
HIVE实战处理（七） hive 新增字段 联级（cascade）和json格式的hive表
sheep8521的博客
08-06 6149
问题描述： 实际应用中，常常存在修改数据表结构的需求，比如：增加一个新字段。 如果使用一般的add columns(col1 string)的语句增加字段的话，对于旧分区中的col1将为空且无法更新，即便insert overwrite该分区也不会生效。 1、准备一个分区表test_partition 2、测试数据新增字段 alter table temp.test_partition add columns (hour string); 3、插入数据 插入失败，所以原来的插入方式对以前分分区是不生
Hive 表添加列（新增字段）
最新发布
主要分享大数据相关的知识，如Spark、Hudi
04-23 2803
记录总结一下 Hive 表如何添加新的字段以及遇到的问题。最初是因为要验证 Hudi Schema Evolution 中的增加字段问题more对于某些文件类型，如ORC不存在该问题，而对于 Parquet、Text ，只有在已有分区下插入数据是，新增字段查询才为 NULL, 新增的分区正常。
hive分区表加了新字段后,向历史分区插数据识别不到新字段
05-26
对于 Hive 分区表，如果你在表结构中新增了一个字段，那么对于已经存在的历史分区，这个新字段是不会被自动识别的。这是因为 Hive 在创建分区表时，会将分区信息存储在 metadata 中，而这些 metadata 是不会随着表结构的变化而自动更新的。 如果你想要查询或者更新历史分区数据时能够识别到这个新字段，需要手动更新 metadata。具体来说，可以通过以下两种方式实现： 1. 使用 `MSCK REPAIR TABLE` 命令，该命令可以检查分区目录，将分区信息更新到 metadata 中。执行该命令时，Hive 会扫描表对应的 HDFS 目录，并将其中的所有分区信息添加到 metadata 中。 例如，如果你的分区表定义如下： ``` CREATE TABLE example ( id INT, name STRING ) PARTITIONED BY (dt STRING, country STRING); ``` 然后你新增了一个字段 `age INT`，那么你可以使用以下命令更新 metadata： ``` MSCK REPAIR TABLE example; ``` 2. 手动添加分区信息到 metadata 中。如果你只需要更新某个特定分区的 metadata，可以使用以下命令手动添加分区信息到 metadata 中： ``` ALTER TABLE example ADD PARTITION (dt='20211010', country='CN') LOCATION '/path/to/partition'； ``` 执行该命令后，分区目录会被添加到 metadata 中，然后你就可以使用新字段查询和更新该分区数据了。 总之，无论是使用 `MSCK REPAIR TABLE` 还是手动添加分区信息，都需要注意及时更新 metadata，以便能够正常查询和更新历史分区数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值