问题场景
使用spark 2.4.0
进行统计数据,报错误,错误提示为:
WARN Utils:66 - Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.
原因
是因为该表字段个数比较多,超过了默认值25
,所以提示报错。
解决方法
-
程序解决方法
SparkSession .builder() .master("local[2]") .appName("test") .config("spark.debug.maxToStringFields", "100") .getOrCreate();
-
永久解决方法
# spark配置文件 # 在spark-defaults.conf文件中添加一行处理,重启slave,再此进入spark-shell, warning消失了。 spark.debug.maxToStringFields=100
我的已经设置为100了,看来还得更大些