Spark执行模式解析

摘要：本文主要讲了Spark几种不同的执行模式以及其原理

一、执行模式

提交脚本常见的语法：

[plain]  view plain   copy

 

1. ./bin/spark-submit \  
2. --class <main-class>  
3. --master <master-url> \  
4. --deploy-mode <deploy-mode> \  
5. --conf <key>=<value> \  
6. ... # other options  
7. <application-jar> \  
8. [application-arguments]  

脚本说明：

（1）—-class： 主类，即main函数所有的类
（2）—- master : master的URL，见下面的详细说明。
（3）—-deploy-mode:client和cluster2种模式
（4）—-conf:指定key=value形式的配置

下面对各种模式做一个说明：

1、local

    本地跑程序，一般用来测试。可以指定线程数

[plain]  view plain   copy