成功解决Impala中修改parquet表的字段类型问题

最新推荐文章于 2023-11-14 14:30:10 发布

笑看风云路

最新推荐文章于 2023-11-14 14:30:10 发布

阅读量1.2k

点赞数 17

分类专栏： hive 文章标签： hive 大数据

本文链接：https://blog.csdn.net/u011109589/article/details/131763844

版权

hive 专栏收录该内容

34 篇文章 15 订阅 ¥19.90 ¥99.00

订阅专栏

本文介绍了在Impala中遇到修改Parquet表字段类型的问题，包括删除字段后查询报错的场景。解决方案是通过备份数据、删除原表、重建表结构并重新插入数据来实现字段的修改。由于Impala与Hive共用元数据且Parquet文件敏感于列顺序，直接修改会导致问题，因此采用创建新表的方式规避这一限制。

摘要由CSDN通过智能技术生成

前言

最近有个小伙伴在开发中遇到了 Impala 中修改 Parquet 表的字段类型问题，于是开启了问题解决之路。

问题背景

这个小伙伴在 Impala 中对 Hive 的表进行了删除、修改字段类型等操作，等这些操作后去 Impala 去查询该表的时候，出现了如下的问题：

问题1：

'hdfs://nameservice1/user/hive/warehouse/*******/part-00000-84e7c41f-e6c0-4a3d-9853-2eabf5b722d2-c000' column '*****' does not have the scale set.

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

笑看风云路

关注关注

17
点赞
踩
13

收藏

觉得还不错? 一键收藏
打赏
19
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

客快物流大数据项目（七十七）：使用Impala对kudu更改表属性操作

Lansonli（蓝深李）的博客

09-06

1572

开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名， Kudu 主地址列表，以及表是否由 Impala （内部）或外部管理。将内部表更改成外部表以后，删除外部表，不会影响底层的kudu表，反之如果是内部表的话，删除内部表，则底层的kudu表也会同步删除。更改Kudu Master地址。

如何在impala中修改parquet表的字段类型以及修复过程

duketyson2009的博客

11-22

8399

一、需求场景众所周知impala和hive是共用一天元数据。因为前期设计impala外部表的时候考虑不足，某些字段设置成int类型，但是随着业务增长数值已经超过了int的最大值，不能满足业务需求，所以要对某些int类型的字段进行修改字段类型为string。但是parquert在存储上，做了加密，二级制存储压缩，因为Impala对Parquet文件中列的顺序很敏感，所以在表的列定义与Parque...

19 条评论您还未登录，请先登录后发表或查看评论

impala中转换字段类型，类型强转

全能小孩

10-30

7810

cast(字段名 as 要转换为的类型) 例如：要将student表中的age字段（原本是int类型）转成string类型，如下： cast(student.age as string) as age --年龄

parquet表对于hive与imapla表字段修改

张不帅

08-10

1291

以parquet为存储类型的表,在hive里修改表字段类型,会造成impala中对于该表无法进行查询.强制加入cascade 也是无效操作只有在impala中修改字段类型才可有效操作对于已在hive中修改的操作,需要备份数据重新灌入原表,再在impala中刷新元数据才能查询建议: 修改表字段类型直接在impala中修改对于已在hive中修改了字段类型的数据,再通过impala修改会直接导致源数据损坏,无法查询 ...

impala中常用SQL操作，建表，增加分区，增加统计信息，增加字段，修改字段信息，impala-shell使用

热门推荐

LeoHan

05-06

1万+

impala中常用SQL操作：建表并创建分区，指定存储类型 create EXTRENAL table IF NOT EXISTS testDB.testTable( a INT, b BIGINT, c STRING, d FLOAT, e DOUBLE, f BOOLEAN ) PARTITIONED BY (year INT,month INT,day INT) stored as parquet 从指定位置导入表： CREATE table testDB.testTable( a I

impala 不可轻易更换列类型

老农民挖数据

10-11

4443

1.建表 [slave01:21000] > use tmp; Query: use tmp [slave01:21000] > create table ml_2(a int ,b double,c varchar(10)); Query: create table ml_2(a int ,b double,c varchar(10)) Fetched 0 row(s) in 0.17s [

Sparksql读impala hive表下parquet文件 String读取问题分享

oliver_lorne的博客

12-22

469

用sparkSql 读取parquet文件数据传输到hbase parquet文件在impala创建的hive表下核心代码： val df = spark.read .option("mergeSchema", "true") .parquet(path) .select("xxx1", "xxx2", "xxx3") df.show() 发现： +---------+---------------+--------------------+ |200000466| ...

Impala并发查询缓慢问题解决方案.docx

10-26

在Impala并发查询缓慢问题中，TIMESTAMP 字段类型是导致性能下降的主要原因之一。因此，将 TIMESTAMP 字段类型改为 STRING 类型可以解决这个问题。这一步骤可以减少ImpalaDaemon进程中的全局锁竞争，从而提高并发...

亿级数据下Hive和Impala中text、orc、parquet性能对比(一)

本文是一篇关于在Hadoop生态系统中，特别是Hive和Impala两个查询引擎下，对比Text、Orc和Parquet三种数据存储格式性能表现的研究。作者首先强调了读者需要对Hadoop、Hive、Impala、Kafka和Flink等技术有一定的了解，...

impala修改一个字段的值

08-16

- *1* [如何在impala中修改parquet表的字段类型以及修复过程](https://blog.csdn.net/duketyson2009/article/details/103205033)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...

对于parquet格式，修改了字段类型又如何

老农民挖数据

03-14

6143

注：图来自info官网[slave01:21000] > create table ml_123 (a int,b varchar(10)) STORED AS PARQUET ; Query: create table ml_123 (a int,b varchar(10)) STORED AS PARQUET Fetched 0 row(s) in 0.07s [slave01:21...

hive存储parquet格式不要直接修改字段类型

qq_40302627的博客

08-10

328

问题描述：将字段类型改为decima(2,0)的改成int类型，修改语句执行成功，但是查询的时候报错了，报错信息提示parquet文件对应字段类型是decimal(2,0)，设置的字段类型与实际存储的类型不一致。解决方案，其实没啥好的解决方案，只能是重新建一张表，字段类型设置成你想改的类型，然后通过动态分区的方式，将老表中的数据导入新表，这样完成类型转换。先说恢复方案吧，如果表不能查询，干啥都是白搭了，恢复方案就是把类型改回原来的类型，此时，表内数据可查，一切恢复到原点。

hive表增加字段更改字段注释的方法

码无止境

08-08

5100

新增字段： alter table XXXX add columns(XXXXX); 修改注释： use XXX;(数据库名字) alter table xxx（表名） change xxx(要更改的列名) xxx(更改后的列名) string(更改后的类型) COMMENT'xxxxx注释’; ...

表和字段加注释

zj511025的专栏

09-05

985

在创建表的时候，如何跟表和字段加注释呢？comment on table 表名 is 表注释";comment on column 表.列 is 列注释;表注释存放在user_tab_comments 中字段注释存放在user_col_commnents中

impala精度修改问题

Sin_Geek成长の迹

08-20

3250

背景因上游数据精度发生变化，需相应调整大数据的精度，直接进行调整后，HIVE没有问题，但impala无法正常查询修改后的表，报错为 column 'XXX' has an invalid type length 分析&试验最开始以为是HIVE元数据的问题，因为是分区表怀疑历史分区相关信息没有变更，然后去HIVE元数据库查，结果元数据信息是一样的。然后网上去查资料，度娘真的啥也不知道啊...

impala 提示does not have the scale set