spark.sql.parquet.writeLegacyFormat：ParquetDecodingException: Can not read value at 0 in block -1 in

大数据学习与分享

于 2020-11-06 09:18:10 发布

阅读量3.2k

点赞数 2

分类专栏： Spark 大数据文章标签：大数据 spark hive parquet

本文链接：https://blog.csdn.net/qq_42164977/article/details/109525040

版权

本文探讨了在Spark SQL中遇到的ParquetDecodingException问题，特别是在与Hive metastore交互时。文章解释了`spark.sql.parquet.writeLegacyFormat`参数的作用，指出当该参数设置为false时，可能会导致数据以新版Parquet格式写出，从而引发与其他系统（如Hive、Impala）的兼容性问题。解决这个问题的方法是将此参数设置为true，以确保数据以旧版格式写出，兼容其他系统。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

系列二

在此之前可以先阅读文章：SparkSQL与Hive metastore Parquet转换

在说问题之前首先了解一个参数spark.sql.parquet.writeLegacyFormat（默认false）的作用：

设置为true时，数据会以Spark1.4和更早的版本的格式写入。比如decimal类型的值会被以Apache Parquet的fixed-length byte array格式写出，该格式是其他系统例如Hive、Impala等使用的。

设置为false时，会使用parquet的新版格式。例如，decimals会以int-based格式写出。如果Spark SQL要以Parquet输出并且结果会被不支持新格式的其他系统使用的话，需要设置为true。

比如，对于decimal数据类型的兼容处理，不设置true时，经常会报类似如下的错误：

Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 (TID 0, localhost, executor driver): parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file hdfs://hadoop/data/test_decimal/dt=20200515000000/part-00000-9820eba2-8a40-446d-8c28-37027a1b1f2d-c000.snappy.parquet
  at parquet

最低0.47元/天解锁文章