前言
本地运行spark程序的时候,报错:
java.lang.IllegalArgumentException: System memory
259522560 must be at least 471859200.
Please increase heap size using the --driver-memory option or
spark.driver.memory in Spark configuration.
本地解决办法一
代码中设置:
sparkConf.set("spark.testing.memory",(512 * 1014 * 1024)+"");
注意,这里中间的单词是testing。
本地解决办法二
直接设置Vm options,-Xms512m。
或是:
-Dspark.testing.memory=536870912
解决办法三(线上)
spark-defaults.conf文件中配置键值对:
spark.driver.memory 3g