Hive分区表新增字段后插入数据显示为null

最新推荐文章于 2021-05-14 14:30:05 发布
最新推荐文章于 2021-05-14 14:30:05 发布
阅读量3.1k 收藏 7
点赞数 2
分类专栏： Hive 文章标签： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gxd520/article/details/92791487
版权
在Hive中为分区表增加字段后，向已存在分区装载数据时，新字段可能显示为null。问题源于分区的CD_ID未同步更新，导致元数据库信息不一致。解决方法包括手动更新分区的CD_ID或删除分区重建。确保元数据与实际数据一致，新字段的值将正确显示。
摘要由CSDN通过智能技术生成

对Hive分区表进行新增字段后，会出现一个奇怪的情况，就是往 已经存在的 分区中装载数据后，某些字段的值显示为null，但实际情况是数据文件中对应的字段值其实是有值的。

下面我们重现该问题：

  1. 创建一个分区表
    在这里插入图片描述

  2. 往表中装载数据
    在这里插入图片描述

  3. 给表新增分区
    在这里插入图片描述

  4. 再往表中装载数据并查询
    在这里插入图片描述
    数据装载成功后，通过查询可以看出，新创建的分区中数据显示正常，但是已经存在的time=20171010分区中新增数据后，新增的字段显示为null。难道数据没有插入成功？

  5. 查看分区表在HDFS上对应的数据
    在这里插入图片描述
    可以看出hive

最低0.47元/天 解锁文章
DeathGXD
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据 在hive与HBASE联合使用时，hive insert into 出现异常错误
weixin_41509192的博客
07-02 608
在练习HBASE与hive联合使用时 hive无法向与hbase关联的表中添加数据。 报出错误如下： hive (default)> insert into table hive_hbase_emp_table select * from emp; Query ID = hadoop_20200703024258_990646f2-d56d-4915-9d4b-b18712baad15 Total jobs = 1 Launching Job 1 out of 1 Number of reduce
hive分区表中--新增字段，发现数据为null的坑
iilegend的博客
06-22 3563
数仓开发过程中，经常会有需求变更，添加字段的情况所在，添加完了字段还需要重新跑数据，重新将这个字段的数据加载进去，但是会出现一个坑就是加载的数据为null。 问题所在： 对于分区表添加字段，向已存在分区中插入数据，结果新增字段的值全部为null。 alter table xunying add colums(name string); insert overwrite table x...
hive数据库从文件插入数据得到结果NULL？
dimiaofan3981的博客
02-14 169
今天第一次接触hive这个东东，跟着教程走，当把本地文件的数据装载到新建的hive的表中时，得到的结果是NULL，如图： 也不知道为什么，初次接触，对它的这个构造还不是很熟悉，看一下建表语句： 解决：问题就出在分隔符上，我的建表语句分隔符是'\t'，'\t’代表的是tab符号，你键盘上的tab键，所以你文件的数据也需要使用tab分割开的。 转载于:https://...
Hive中插入数据全为空（sql无误的情况下）
小白白的博客
07-22 5066
（作者：陈玓玏 data-master） 如果sql无误的情况下，其实这个问题很好解决。一个很可能的原因就是： 写入的数据类型和建表时定义的数据类型不一致。 我之前碰到这个问题，检查了sql很多遍，上层表的数据也检查了很多遍，都是没有问题的。这个时候，可以选择几条数据，不写入表，直接看结果，发现是有结果的。 再检查建表语句，发现建表语句是： create table tmp.a (id int ,name string ,class_one float ,class_two float ,class_thr
hive表新增字段或者修改字段
04-20
总结来说，Hive 中的表字段修改和新增操作需要谨慎处理，特别是涉及分区表时。理解元数据管理的机制至关重要，以避免在操作后出现数据不一致的问题。同时，合理选择合适的解决方案，如重新处理数据或使用 `CASCADE` ...
hive sql + left join 数据缺失
最新发布
02-29
- Bucketing Version 是Hive表的一个属性，用于控制如何对数据进行分区和分桶。 - Hive 3 默认的bucketing_version为2，而旧版Hive的bucketing_version为1。 - 这个属性的变化直接影响了数据的分桶方式，从而影响...
HIVE实战测试数据，HIVE实战测试数据
08-07
这些数据经过预处理后，被转化为Hive可识别的格式，如CSV或JSON，然后上传到HDFS（Hadoop分布式文件系统）中。测试数据的选择至关重要，因为它直接影响到Hive查询性能的评估和数据分析的准确性。 1. **数据导入与...
Mysql元数据如何生成Hive建表语句注释脚本详解
09-09
这段脚本会根据MySQL的数据类型转换为Hive兼容的数据类型，并为每个字段生成`ALTER TABLE`语句，用于更新Hive表的字段注释。请注意，这只是一个示例，实际使用时需替换`TABLE_NAME`为你需要处理的表名。 接下来，...
hive数据类型共6页.pdf.zip
10-29
Hive 支持在表级别进行分区，将数据分隔成逻辑上独立的部分，这有助于优化查询性能。桶是基于哈希函数将数据分布到特定文件中的技术，用于提高 JOIN 操作的效率。 总结，了解并熟练掌握 Hive 的数据类型对于大数据...
解决hive表新增的字段查询为空null问题
星空的风fly
05-14 3646
一、问题点 有一个hive外部表，分区字段是tp和month，新增了几个字段fee_org_id，applied_date_time，pop_coop_mode_type_cd，fee_company后，insert overwrite重跑分区数据， SELECT * FROM app.app_yhzz_pop_bill_indicator_result WHERE tp = 'yt' AND month = '2021-04' 用hive引擎查询如下，新增的几个字段是null 而用prest
hive修改表结构后插入数据查询为空
SW_LCC的博客
03-31 956
最近使用hive的时候发现，当修改已存在的表，添加另外的列，然后插入数据，发现新插入的数据中，里面的新列数据皆为NULL。（当前hive版本为2.1.0) 查了一下资料，发现hive的元数据表SDS中，该表的CD_ID值为旧值，在更新表结构后该CD_ID有改动。 解决办法： 1.如果要解决这个问题，可以手动的修改SDS表中该数据表对应的CD_ID值。 2.可以手动的给该表的分区加上新增的列,如: ...
hive add columns后新插入列数据为空
qq_14814971的博客
08-08 4127
hive在新加列(add columns)后，再load数据时，理论上来说新增的列如果有数据的话会展示出来； 但是add和load后没有展示出对应的数据，hdfs的文件里是有对应的数据的，desc表结构时也有对应的字段； 但是在查看元数据时，发现表的元数据没有发生变化，没有新增加进这一列，具体原因还未知； 最终也没有找到具体的原因，个人觉得是元数据库的同步问题，类似于oracle的脏读，没有...
hive新增字段以后，插入成功但是显示为null
小哥的博客
01-25 3435
hive新增两个字段，执行脚本没有报错，select出来以后值为空 然后单独执行代码发现，数据不为空 解决方法： 1.show create table table_name;找到该表元数据的存储路径 2.删除该分区路径下的deflate文件： hadoop fs -rm hdfs://ns1/user/hive/warehouse/xxx.db/table_name/dt=2019-0...
hive分区表增加字段会导致新增字段无法显示值的BUG
weixin_34353714的博客
03-23 765
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive分区表新增字段为null的bug及解决方法
Liu_Arvin的芝士小栈
10-31 1万+
Hive分区表新增字段为null的bug及解决方法
hive导入数据到hbase 遇到的问题
Make progress step by step everyday.....
04-01 1430
原文地址：http://blog.csdn.net/manburen01/article/details/39477733?utm_source=tuicool&utm_medium=referral   版本说明：hive-0.13.1         hbase-0.96.0/hbase-0.98.2  第一步:在hive客户端执行hive关联hbase建表语句    hive中对应
hive通过文件导入数据全部是NULL
lieyanhaipo的专栏
05-22 9049
创建表的时候需要指定行和列分隔符，否则使用load data …命令导入数据全部为NULLcreate table test (id int,name string) row format delimited fields terminated '\t'注意：‘\t’是反斜杠test.txt文件中间隔为一个’tab’键的距离1 li 2 bing 3 lily
hive导入数据出现NULL
热门推荐
在路上的学习者
04-07 1万+
由于很多数据在hadoop平台，当从hadoop平台的数据迁移到hive目录下时，由于hive默认的分隔符是/u0001,为了平滑迁移，需要在创建表格时指定数据的分割符号，语法如下：   create table test(uid string,name string)row format delimited fields terminated by '/t'； 通过这种方式，完成分隔
导入hive表数据为空问题解决
weixin_43870699的博客
12-29 3437
一、现象 （1）在本地运行hql时，数据可以正常插入，执行hql文件时，数据插入表时，查不到数据。 （2）使用TEZ引擎时，hql执行不通过，报错；使用MR运行时，可以通过，但是无数据输出。 二、排查 经过排查，发现sql中有一个三个表union all的语句，只要一执行到这个语句，数据就会为空，hql如下： select group_id,uid,day from ods.tmp union all s...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值