Spark sumbit command on yarn

下面是一个spark提交的例子

spark-submit --class HiveColNullRatioStats --master yarn --deploy-mode client --num-executors 3 --executor-memory 6G --executor-cores 2 --driver-memory 1G /home/hypers/Jason/tmp/spark_practice-1.0-SNAPSHOT.jar -s east -p 20170731

在调试情况下，可以使用client方式，对于想要看到的信息，可以使用这种方式打印到客户端。

在实际运行时，需要采用cluster模式

spark-submit --class HiveColNullRatioStats --master yarn --deploy-mode client --num-executors 3 --executor-memory 6G --executor-cores 2 --driver-memory 1G /home/hypers/Jason/tmp/spark_practice-1.0-SNAPSHOT.jar -s east -p 20170731

查看运行结果时候就采用下面的yarn命令

yarn logs -applicationId <app ID>

对于参数的选择，请参考blog https://www.cnblogs.com/haoyy/p/6893943.html

官方文档 http://spark.apache.org/docs/1.5.2/running-on-yarn.html

不同提交模式的区别，请参考 https://www.jianshu.com/p/65a3476757a5

 

转载于:https://www.cnblogs.com/xdlaoliu/p/10637628.html