在已有的hive表新增一列，但是已有分区数据显示为null

最新推荐文章于 2024-04-27 23:29:59 发布
最新推荐文章于 2024-04-27 23:29:59 发布
阅读量761 收藏
点赞数
文章标签： hive sql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42903419/article/details/111869521
版权

在已有的hive表新增一列，然后对新增列之前的分区写入数据，hive查询该列全是null，但presto查询是有数据的

一、造成hive查询为null的原因是？

原因是修改Hive分区表结构以后，元数据库中的SDS中该表对应的CD_ID会改变，但是该表分区下面对应的CD_ID还是原来表的CD_ID。SDS表主要保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。

参考https://blog.csdn.net/gxd520/article/details/92791487?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1.not_use_machine_learn_pai&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1.not_use_machine_learn_pai

总结：

通常对已有的hive表增加一列，可以这样操作：

  1. 如果不需要补历史分区的数据，则可以直接新增一列
  2. 如果需要对新增列补历史分区数据，则建议将表数据备份，重建表结构，然后把数据导入到新表
春风化雨~_~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive表分区
09-21
Hive表分区，里面有比较详细的Hive表分区方法，希望能够有所帮助。
Hive2.3.7中对手动插入null的测试
E_Possible的博客
10-18 781
1.create table testNull(id int) row format delimited fields terminated by ‘,’; 2.insert into testNull(id) values(null); 3.插入的null，查询出NULL hive> select * from testNull; OK NULL 4.看看单元格是否存储的字符串，或者空指针null、NULL（就是看空指针null是否能存为null） hive> select * from
分区表新增字段后，新增字段值为什么为null ？
tangli67的博客
06-03 426
以表table_tangli（分区step）为例，【假设当前只有step='1'的分区】#Hive 执行修改表结构脚本：alter table table_tangli add columns(c3 string)， 并insert插数据，但是发现step='1' 对应新增字段数据值为空， step新分区数据正常。 原因：使用alter table语句更新结构时，由于默认更新现有表结构，对原有分区无改动，导致原有分区改变数据时，新字段为null 即，现有表结构和历史分区都需要进行表结构调整，需再执行.
Hive分区表增加字段新增字段为NULL解决方案
qq_654603797
11-13 2463
背景： 数仓开发过程中，经常会有需求变更，添加字段的情况很难免，添加完了字段需要重新写数据，重新将这个字段的数据overwrite进去，但是会出现一个问题，就是加载的数据为NULL。新分区正常，无论是内部表还是外部表均有该问题。 原因：使用alter table语句更新表结构时，由于默认更新现有表结构，对原有分区无改动，导致原有分区改变数据时，新字段为NULL 测试过程： 创建测试表： CREATE TABLE DEFAULT. COMPANYLEVEL_TEST( IDSTRING, PAR.
Hive分区表新增字段后插入数据显示为null
u011250186的博客
12-29 1609
对Hive分区表进行新增字段后，会出现一个奇怪的情况，就是往 已经存在的 分区中装载数据后，某些字段的值显示为null，但实际情况是数据文件中对应的字段值其实是有值的。 下面我们重现该问题： 创建一个分区表 往表中装载数据 给表新增分区 再往表中装载数据并查询 数据装载成功后，通过查询可以看出，新创建的分区中数据显示正常，但是已经存在的time=20171010分区中新增数据后，新增的字段显示为null。难道数据没有插入成功？ 查看分区表在HDFS上对应的数...
hive导入数据成功，但是查询显示NULL
Helen_1997_1997的博客
02-20 804
hive导入数据成功，但是查询显示NULL，且不报错的异常处理
Hive分区表新增字段值为NULL
Sin_Geek成长の迹
03-08 808
背景 对于HIVE分区表通过add column添加字段，向已存在分区中插入数据，结果新增字段的值全部为null。 已存在分区会产生该问题，新分区不会产生该问题。 原因 实际上数据是插入成功的。HDFS上的数据更新了，但是我们查询的时候仍然查询的是旧的元数据信息（即Mysql中的信息） 官方解释如下： Change Column Name/Type/Position/Comment ALTER T...
[Hive]新增字段(column)后，旧分区无法更新数据问题
JackFeng's Blog
04-16 6618
问题描述： 实际应用中，常常存在修改数据表结构的需求，比如：增加一个新字段。 如果使用如下语句新增列，可以成功添加列col1。但如果数据表tb已经有旧的分区（例如：dt=20190101），则该旧分区中的col1将为空且无法更新，即便insert overwrite该分区也不会生效。 alter table tb add columns(col1 stri...
hive 表新增字段后更新分区无法显示数据
weixin_34203426的博客
01-18 501
解决方案： 1、删除分区后重新跑数据 alter table drop partition(分区字段=“”)； 2、新增字段运行程序后其实数据已经有了，只是查询hive的时候无法显示出来， 这个时候只要刷新一下表结构就出来了 ALTER TABLE name REPLACE COLUMNS (col_spec[, col_spec ...])； 转载于:https://w...
hive replace替换多个_Hive新增字段(column)后，旧分区无法更新数据问题
weixin_39736007的博客
11-27 1071
遇到的问题： 今天给一个hive表增加一个新字段，使用如下语句alter table industry_db.product add columns(industry_id string comment ‘行业id);hive数据库表，显示了新增加的字段，我以为添加成功。但如果hive数据表p_date="20200306" 已经有旧的分区 的industry_id将为空且无法更新，即便i...
Hive的分区表
01-20
Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区，从而提高查找效率。为什么这样能够提高查找效率呢？其实是因为Hive存放的数据是没有索引的，如果没有建立...
Hive分区表
01-07
分区表就是根据指定字段的值进行分类、分组，字段值相同的分为一类然后存储在一个单独的HDFS文件中，多个类就存储在多个文件中。原本存储在一个文件中的数据现在存储在多个文件中，查询数据时只需要知道数据在哪个...
Hive大表的测试数据
07-31
Hive大表的测试数据
Hive小表的测试数据
07-31
Hive小表的测试数据
java-springmvc 01 补充 javaweb 三大组件（源码都是tomcat8.5项目中的）
qq_38757863的博客
04-27 61
01。
hive启动beeline报错
m0_75028327的博客
04-26 284
出现上面的问题执行以下代码。
01-DispatchServlet和RequestMapping
低调的烂笔头的博客
04-25 156
*** 自定义参数注解：用于将请求头中的token参数解析出来并放入方法入参（参数解析器）*//*** 自定义方法返回值注解 用户测试自定义方法返回值处理器*//*** @desc 继承RequestMappingHandlerAdapter，重新invokeHandlerMethod方法* 因为此方法是protected的，外部无法调用 继承后修改为public便于测试*/@Override/**
hive创建hbase外部关联表实例
最新发布
linweidong的专栏
04-27 141
在cdh6.3.2已经做好hbase和hive相关配置，这里不阐述。要创建上述的表结构，你需要先在HBase中创建相应的表，然后在Hive中创建一个EXTERNAL TABLE来映射到这个HBase表。
SQL中top的使用
m0_57310426的博客
04-22 396
语法格式： SELECT TOP n PERCENT <列名表> FROM <表名> [查询条件]语法格式： SELECT TOP n <列名表> FROM <表名> [查询条件]其中，n为所返回的记录数所占结果集中记录数目的百分比数。1.介绍：查询最热门，最高的分的前几条数据。（2）返回结果集中指定百分比的记录数。其中，n为要返回结果集中的记录条数。2.查询成绩前10%的学生的信息。（1）返回确定数目的记录个数。1.查询成绩前十的学生的信息。
hive表的totalsize为0但是表里有数据
05-25
如果表的总大小为0，但是表里面有数据，这可能是因为Hive表的统计信息已经过期或者没有被收集。Hive会在表的分析和查询过程中使用统计信息来优化查询计划，如果统计信息过期或者没有被收集，Hive可能会认为表是空的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值