1、spark在yarn-cluster模式下运行任务报错
不指定任何参数, 运行正常
spark-submit --master yarn-cluster --class com.chb.test.tongji.Test test.jar /apps/spark/source/ 00
当指定executor的配置,运行失败
spark-submit --master yarn --deploy-mode cluster --num-executors 3 --executor-memory 128M --class com.chb.test.tongji.Test test.jar /apps/spark/source/ 00
1.1、任务跑失败, 但是没有看出是什么的原因
1.2、到yarn上查看日志,发现日志无法打开
1.3、使用yarn logs -applicationId application_1536581049061_0004
查看日详细志信息
Exception in thread "main" java.lang.IllegalArgumentException:
System memory 129761280 must be at least 4.718592E8. Please use a larger heap size.
分配内存不足, 解决方法设置
sc.set("spark.testing.memory", "2147480000");
2、在yarn-cluster模式提交
在配置文件中设置
spark.master=yarn-cluster
spark.yarn.queue=YCLL
spark.app.name=LocalTest
2.1、然后通过SparkConf.set(xx,xx)
, 设置spark的配置,设置提交模式为yarn-cluster,
spark-submit --mainclass examples.jar 参数