spark.sql.parquet.writeLegacyFormat：ParquetDecodingException: Can not read value at 0 in block -1 in

系列二

在此之前可以先阅读文章：SparkSQL与Hive metastore Parquet转换

在说问题之前首先了解一个参数spark.sql.parquet.writeLegacyFormat（默认false）的作用：

设置为true时，数据会以Spark1.4和更早的版本的格式写入。比如decimal类型的值会被以Apache Parquet的fixed-length byte array格式写出，该格式是其他系统例如Hive、Impala等使用的。

设置为false时，会使用parquet的新版格式。例如，decimals会以int-based格式写出。如果Spark SQL要以Parquet输出并且结果会被不支持新格式的其他系统使用的话，需要设置为true。

比如，对于decimal数据类型的兼容处理，不设置true时，经常会报类似如下的错误：

Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 (TID 0, localhost, executor driver): parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file hdfs://hadoop/data/test_decimal/dt=20200515000000/part-00000-9820eba2-8a40-446d-8c28-37027a1b1f2d-c000.snappy.parquet
  at parquet