org.apache.spark.SparkException:job aborted due to stage failure spark driver maxResultSize (1024)
默认大小 :
spark.driver.memory = 1g
调整上述参数到一个合适大小即可。
一般如果存在广播变量的情况下需要调整driver内存。
org.apache.spark.SparkException:job aborted due to stage failure spark driver maxResultSize (1024)
默认大小 :
spark.driver.memory = 1g
调整上述参数到一个合适大小即可。
一般如果存在广播变量的情况下需要调整driver内存。