spark的几种模式的比较

在spark的学习中，spark一共有四种模式，分别是：

spark基于local

spark基于standalone

spark基于yarn

spark基于metsos

 

1. Standalone模式两种提交任务方式

1. Standalone-client提交任务方式

• 提交命令

./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

或者

./spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

• 执行原理图解

 

• 执行流程

1. client模式提交任务后，会在客户端启动Driver进程。
2. Driver会向Master申请启动Application启动的资源。
3. 资源申请成功，Driver端将task发送到worker端执行。
4. worker将task执行结果返回到Driver端。

• 总结

client模式适用于测试调试程序。Driver进程是在客户端启动的，这里的客户端就是指提交应用程序的当前节点。