Hive 或 Impala 的数据类型与对应底层的 Parquet schema的数据类型不兼容

最新推荐文章于 2022-03-30 21:47:59 发布

Ego_Bai

最新推荐文章于 2022-03-30 21:47:59 发布

阅读量2.6k

点赞数

分类专栏： impala 数据库

本文链接：https://blog.csdn.net/Ego_Bai/article/details/81635227

版权

当在Hive中修改表字段数据类型（如从String转Double），并存储为Parquet格式时，可能导致Impala查询时出现与Parquet schema不兼容的错误。解决方案包括更新Impala的元数据或参照Stack Overflow上的建议处理。

摘要由CSDN通过智能技术生成

背景：修改了hive表的某些字段的数据类型，如从String -> Double ，此时，该表所对应的底层文件格式为Parquet，修改之后，更新Impala索引，然后查询修改数据类型的字段，会出现与Parquet schema 列数据类型不兼容的问题。

如： Impala ——

正在提取遇到以下错误的结果：

Bad status for request TFetchResultsReq(fetchType=0, operationHandle=TOperationHandle
(hasResultSet=True,modifiedRowCount=None,operationType=0,operationId=THandleIdentifier(secret='D\x11\x18]\xf7\xa2E*\x8f\x99Ky\x9c\xc8\xda>', guid='D\x11\x18]\xf7\xa2E*\x8f\x99Ky\x9c\xc8\xda>')), orientation=4, 
maxRows=100): TFetchResultsResp(status=TStatus(errorCode=None, errorMessage="File 
'hdfs://xxx:8020/user/hdfs/test/0f399649-1e1d-444b-9d71-24c8db0ac7f3.parquet' has an incompatible Parquet
 schema for column 'default.test.yyy'. Column type: DOUBLE, Parquet schema:\noptional byte_array Q