hive add columns 后查询不到新字段数据的问题

于 2023-10-10 16:05:04 发布
阅读量638 收藏
点赞数
文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39732131/article/details/133749217
版权

分区表add columns 查询不到新增字段数据的问题；
5.1元数据管理
（1）基本架构
     Hive的2个重要组件：hiveService2 和metastore,一个负责转成MR进行执行，一个负责元数据服务管理
     beeline-->hiveService2/spark-->metastore-->metadata

hive 架构及 metastore 功能简单介绍_骑着蜗牛向前跑的博客-CSDN博客
（2）多级管理机制
有数据库、表、分区、字段、存储等多个元数据管理信息；
（3）spark可以使用hive的库表，因为spark也可以配置参数，调取hive的metastore信息，从而访问hdfs取数据；

Hive之深入了解元数据_hive元数据_珞沫的博客-CSDN博客
5.2 cascade关键字
    可以认为hadoop 的文件管理粒度对于分区表是到分区粒度的，是比表更细一个粒度的，所以alter table test1 add columns(department string comment ‘部门’) 这个命令不会改变历史分区的元数据信息，这种情况下即便insert overwrite命令更新了hdfs的数据，再使用select命令时仍然根据旧的元数据信息获取数据，所以获取不到新增字段；alter table test1 add columns(department string comment ‘部门’)cascade这个命令可以改变历史分区的元数据信息，insert overwrite命令后可以查到历史分区的新增字段数据；

hive分区表新增字段(add columns)后旧分区报错/字段无法写入(CASCADE)_hive add column-CSDN博客

月笼纱lhz
关注
HIve 在指定位置添加字段
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
05-12 2万+
分两步，先添加字段到最后（add columns），然后再移动到指定位置（change） alter table table_name add columns (c_time string comment '当前时间'); -- 正确，添加在最后 alter table table_name change c_time c_time string after address ; -- 正确，...
Hive的联级（cascade）-新增字段(column)后，旧分区无法更新数据问题
shammy_feng的博客
08-23 1万+
问题描述： 实际应用中，常常存在修改数据表结构的需求，比如：增加一个新字段。 如果使用如下语句新增列，可以成功添加列col1。但如果数据表tb已经有旧的分区（例如：dt=20190101），则该旧分区中的col1将为空且无法更新，即便insert overwrite该分区也不会生效。 alter table tb add columns(col1 string); 解决方法： 解决方法很简单，就...
Hive增加列，调整列顺序，属性名等操作
ImezZ
10-24 6858
hive添加字段到指定位置 先添加字段到最后位置再移动到指定位置
hive表添加字段/修改字段导致的查询报错
一定要努力努力再努力的博客
11-01 4649
一般由于业务需要，会对hive的表有增加字段的操作，如下： ALTER TABLE 库名.表名 add columns (字段名 字段类型 comment '注释') ; 但是上面这种语法只能是对表的当前和以后新的分区生效，若存在历史分区，那么MySQL上的元数据信息没有修改。 若查询历史分区，就会报上面的return code 2 解决方案： 1、直接在添加字段的时候加上 CASCADE ALTER TABLE 库名.表名 add columns (字段名 字段类型 comment '注释') .
hive添加字段后的查询异常ArrayIndexOutOfBoundsException
qq_30868737的博客
06-15 2632
hive添加字段 alter table ods_wsp_dw_fact_point add columns (ods_datecreated STRING COMMENT ‘ods数据创建时间’); 客户端查询报错 hue端查询报错 Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 解决方案： 执行sql前，
hive 添加字段导致数据出错
dear_csdn的博客
04-25 2072
【数据查询为null】 有一张表是已经存在的历史表：表名为code， 由于业务需要新增加了一个字段： alter table code add COLUMNS (tag_sentence string comment '分割的句子，test') ； 然后load相对应的数据，查询发现  tag_sentence 的值有的是显示正确的，有的显示为null 解决方案： 在创
Hive分区表增加字段重跑数据，为何增加的字段无数据
m0_50360098的博客
12-16 2039
项目场景： Hive分区表增加字段重跑数据，为何增加的字段无数据 问题描述： 得到一个需求，需要在原来的表上增加字段，增加字段，ok很正常，直接add columns(xxx string)，然后就开始重跑数据了，跑完后发现其他数据正常，就刚添加的字段无数据。 原因分析： 提示：这里填写问题的分析： 例如：Handler 发送消息有两种方式，分别是 Handler.obtainMessage()和 Handler.sendMessage()，其中 obtainMessage 方式当数据量过大时，由于
HIve修改字段或者增加字段后，Spark访问不生效问题
BackToMe的博客
05-28 2647
问题重现（例） 当我将数据存储格式改变，或者增加一列的时候，我习惯使用了alter table add …来实现 原来的表： ALTER TABLE test ADD COLUMNS (weight STRING) CASCADE 加上一列weight字段后（这里使用cascade就是为了同步到hivemetastore），我用spark向表插入一个带有weight字段的表，此时抛出异常 Exception in thread "main" org.apache.spark.sql.AnalysisEx
Hive新增字段相关问题
weixin_42937781的博客
07-08 1177
Hive新增字段导致旧分区新增数据新增字段展示异常。
hive 指定字段插入数据_为hive增加列存储
weixin_39535752的博客
12-20 3723
为hive增加列存储应该算是我在hive上进行的第一个比较大的尝试。目前已经实现对列表的INSERT操作。在这一周时间里，我对hive的理解更加的深入。废话不说，下面开始介绍下hive的列存储功能。1,创建列存储表hive> create table sunwg(id int,name string,score int) organize by columns (id);OKTime tak...
hive增加字段后对应字段hive查不出来
summer089089的博客
12-29 1921
1.增加字段后直接查看文件有值，但是hsq查出来就没有值，但是impala查询是有值的 hive建表语句 CREATE EXTERNAL TABLE nretail_ability_order.retail_report ( sub_order_no STRING COMMENT '订单号', order_source STRING COMMENT '订单来源:1.T销客 2.方舟 3.方舟移动端 8.T云店', company_name STRING COMMENT '开单客户商务中心', custome
hive orc表增加字段之后，hetu查询报错
地推日记
08-28 885
问题现象： 某集群hive表新增字段，然后插入数据。使用hive查询正常，但是使用hetu查询报错。报错堆栈如下： Caused by: io.prestosql.spi.PrestoException: Error opening Hive split hdfs://hacluster/user/xxx/hive/xx/xxx/sysp_year=2021/sysp_month=07/sysp_day=16/part-00000-83acb0c2-e980-4e78-87d4-b6aacc70ce68.
hive 添加字段，字段值错位问题
cuichunchi的博客
11-02 2461
hive中在表结构中添加字段，并将字段指定到于业务库相对的位置： alter table ods_test.ods_ppy_op_op_supplier_goods_quote_apply add columns (storage_id bigint comment '仓库id') cascade; alter table ods_test.ods_ppy_op_op_supplier_goods_quote_apply change storage_id storage_id bigi...
hive sql表中敏感字段查询报ParseException错误
爱折腾的小土豆的博客
07-02 1254
hive sql表中敏感字段查询报cannot recognize input near ‘time’ ‘string’ ‘,’ in column name or constraint 解决方法： 在sql中把这个敏感字段加反引号解决
hive分区表增加字段会导致新增字段无法显示值的BUG
xiao_jun_0820的专栏
05-07 1万+
对hive分区表新增字段后，在执行插入分区的动作，会发现其实数据文件中已经有新字段值了，但是在查询的时候新字段的值还是显示为null。 比如我们做一个简单的问题重现 我们先创建一个分区表xj_test1,往分区dt=201501中插入一条数据： create table xj_test1(a string,b string) partitioned by ( dt string) row
Hive分区表新增字段数据显示为NULL
埋雷兽的博客
06-22 6556
hive的分区表在新增字段后，新增字段的数据显示NULL。hive分区表新增字段，新分区表字段能够显示，老的分区表字段无法显示，在hdfs上显示正常。 测试具体情况： 1、创建一个测试表 2、插入一条数据 insert into table cyx_test partition(dt='20180101') values('0101','java','shenz...
记一次hive查询报错的问题
努力努力再努力！的博客
07-13 1303
记一次hive查询报错的问题 CDH中安装完hive后，执行select count(*) from table,居然报错了 进入yarn的webui页面，查看对应的任务的logs 重点是这句： Error running local (uberized) 'child' : java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 网上找了一圈，说是Mapreduce.
[1142]hive中如何新增字段
热门推荐
周小董
05-19 2万+
文章目录新增字段1、方法1cascade知识2、方法2 （适用于外部表）3、方法3（下下策）修改字段删除列 新增字段 1、方法1 alter table 表名 add columns (列名 string COMMENT '新添加的列') CASCADE; alter table 表名 add columns (列名 string COMMENT '新添加的列')； hive表中指定位置增加一个字段 分两步，先添加字段到最后（add columns），然后再移动到指定位置（change）
hive--add columns问题
qq_26645205的博客
10-25 5577
hive在新加列(add columns)后，再load数据时，理论上来说新增的列如果有数据的话会展示出来； 但是add和load后没有展示出对应的数据，hdfs的文件里是有对应的数据的，desc表结构时也有对应的字段； 但是在查看元数据时，发现表的元数据没有发生变化，没有新增加进这一列，具体原因还未知； 最终也没有找到具体的原因，个人觉得是元数据库的同步问题，类似于oracle的脏读，没有实
hive在指定字段后增加字段
最新发布
07-28
在 Hive 中，在指定字段后增加字段，你可以使用 ALTER TABLE 语句来实现。具体步骤如下： 1. 打开 Hive 命令行或者 Hive 客户端。 2. 使用以下命令切换到你想要修改的数据库： ``` USE your_database_name; ``` 3. 使用以下命令来修改表结构，添加新的字段： ``` ALTER TABLE your_table_name ADD COLUMNS (new_column_name data_type); ``` 替换 `your_table_name` 为你要修改的表名，`new_column_name` 为新字段的名称，`data_type` 为新字段的数据类型。 4. 提交命令并等待 Hive 执行修改操作。 请注意，这个操作会修改表的结构，因此在执行之前请确保你已经备份了相关数据，并且对表的修改操作可能会对现有的数据造成影响。使用时请谨慎。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值