hive查询报错:java.io.IOException:org.apache.parquet.io.ParquetDecodingException

董可伦

已于 2023-02-07 19:49:04 修改

阅读量1w

点赞数 2

于 2018-05-21 00:46:37 首次发布

本文链接：https://blog.csdn.net/dkl12/article/details/80387308

版权

Spark 同时被 3 个专栏收录

76 篇文章 8 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

hive

16 篇文章 1 订阅

订阅专栏

异常解决

6 篇文章 0 订阅

订阅专栏

本文介绍了在使用Spark SQL从Oracle导入数据到Hive后，遇到Hive查询异常`java.io.IOException: ParquetDecodingException`的问题。异常产生于Hive和Spark的Parquet约定不一致。解决方法是在Spark代码中设置`spark.sql.parquet.writeLegacyFormat`为true，使其与Hive保持一致。文章还强调了Oracle建表时精度的重要性，NUMBER类型需要指定精度以避免异常。

摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

本文解决如标题所述的一个hive查询异常，详细异常信息为：

Failed with exception java.io.IOException:org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0 in file hdfs://192.168.44.128:8888/user/hive/warehouse/test.db/test/part-00000-9596e4bd-f511-4f76-9030-33e426d0369c-c000.snappy.parquet

这个异常是用spark sql将oracle（不知道mysql中有没有该问题，大家可以自己测试一下）中表数据查询出来然后写入hive表中，之后在hive命令行执行查询语句时产生的，下面先具体看一下如何产生这个异常的。