【FAQ】Impala常见异常incompatible Parquet schema for column

最新推荐文章于 2022-04-12 10:58:08 发布

loongshawn

最新推荐文章于 2022-04-12 10:58:08 发布

阅读量2.5k

点赞数

分类专栏：笔记 Big Data 文章标签： impala spark

本文链接：https://blog.csdn.net/loongshawn/article/details/118310695

版权

本文档介绍了在使用Impala查询时遇到的'Incompatible Parquet schema'异常，详细分析了问题的原因及解决方案。当在Parquet格式的表中新增字段时，不规范的操作可能导致查询失败。解决方法包括遵循在末尾添加新字段的规范或者通过设置IMPALA的PARQUET_FALLBACK_SCHEMA_RESOLUTION参数来解决。同时，文中也对比了Spark SQL和Impala在处理空字段时的不同行为。

摘要由CSDN通过智能技术生成

需求来源

impala查询

问题描述

Impala查询表报如下异常

nested exception is java.sql.SQLException: File 'hdfs://nameservice/loongshawn/d/table/p_date=2018-01/part-xxxxxxxxxxxx' has an incompatible Parquet schema for column 'v.table.fileed'. Column type: DOUBLE, Parquet schema: optional byte_array f

nested exception is java.sql.SQLException: File ‘hdfs://nameservice/loongshawn/d/table/p_date=2018-01/part-xxxxxxxxxxxx’ has an incompatible Parquet schema for column ‘v.table.fileed’. Column type: DOUBLE, Parquet schema: optional byte_array f