Spark报错：spark.debug.maxtostringfields

最新推荐文章于 2023-12-15 11:18:26 发布

x²＋(y－√³x²)²＝1

最新推荐文章于 2023-12-15 11:18:26 发布

阅读量955

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/qq_45083975/article/details/113540622

版权

Spark 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

当使用Spark2.4.0进行大数据统计时，遇到由于字段过多导致的警告。错误信息显示字符串表示计划因过大被截断。解决方法包括在程序中设置`spark.debug.maxToStringFields`为100，或者永久修改`spark-defaults.conf`文件添加相同配置。通过这些调整，可以避免警告并顺利进行大数据处理。

摘要由CSDN通过智能技术生成

问题场景

使用 spark 2.4.0 进行统计数据，报错误，错误提示为：

WARN Utils:66 - Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting ‘spark.debug.maxToStringFields’ in SparkEnv.conf.

原因

是因为该表字段个数比较多，超过了默认值 25，所以提示报错。

解决方法

1、程序解决方法

SparkSession
        .builder()
        .master("local[2]")
        .appName("test")
        .config("spark.debug.maxToStringFields", "100")
        .getOrCreate();