问题场景
使用 spark 2.4.0
进行统计数据,报错误,错误提示为:
WARN Utils:66 - Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting ‘spark.debug.maxToStringFields’ in SparkEnv.conf.
原因
是因为该表字段个数比较多,超过了默认值 25
,所以提示报错。
解决方法
1、程序解决方法
SparkSession
.builder()
.master("local[2]")
.appName("test")
.config("spark.debug.maxToStringFields", "100")
.getOrCreate();
2、永久解决方法(spark配置文件)
在 spark-defaults.conf
文件中添加一行处理
spark.debug.maxToStringFields=100
重启 slave
,再此进入 spark-shell
, warning
消失了。
参考资料:https://blog.csdn.net/u013084266/article/details/103610872