问题解决：spark.debug.maxToStringFields

问题场景

使用spark 2.4.0进行统计数据，报错误，错误提示为：

WARN  Utils:66 - Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.

原因

是因为该表字段个数比较多，超过了默认值25，所以提示报错。

解决方法

1. 程序解决方法

   SparkSession
           .builder()
           .master("local[2]")
           .appName("test")
           .config("spark.debug.maxToStringFields", "100")
           .getOrCreate();
   

    

2. 永久解决方法

   # spark配置文件 
   # 在spark-defaults.conf文件中添加一行处理，重启slave,再此进入spark-shell, warning消失了。
   spark.debug.maxToStringFields=100
   

   我的已经设置为100了，看来还得更大些