- spark.sql.legacy.parquet.int96RebaseModeInRead: LEGACY 解决timestamp 超出时间范围报错
- spark.sql.hive.convertInsertingPartitionedTable: FALSE 解决数据无法同步Impala问题
- spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes: 384MB Spark小文件合并
- set spark.sql.adaptive.enabled=true 更好利用单个Executor的性能,还能缓解小文件问题
- spark.sql.parquet.writeLegacyFormat:TRUE spark3和spark2兼容
- set spark.sql.hive.convertMetastoreParquet=false; 解决impala查询数据不一致
spark3.1.2的参数配置
最新推荐文章于 2023-05-05 12:46:31 发布