疯狂Spark之Spark集群搭建以及任务提交

集群搭建以及测试

Standalone搭建

在node01、node02、node03三台虚拟机上搭建spark集群

下载安装包，将安装包上传到node01上并解压

上传安装包

解压命令：tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz

修改解压包名称命令：mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0

修改配置文件

spark-env.sh

需要修改一下几个参数

SPARK_MASTER_IP:master的ip

SPARK_MASTER_PORT:提交任务的端口，默认是7077

SPARK_WORKER_CORES：每个worker从节点能够支配的core的个数

SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数

进入文件所在目录命令：cd spark-1.6.0/conf/

修改文件名称命令：mv spark-env.sh.template spark-env.sh

编辑spark-env.sh命令：vi spark-env.sh

在该文件中配置如下内容

export SPARK_MASTER_IP=node01
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=3g

slaves

修改slaves.template文件，添加从节点。保存。

修改文件名称命令：mv slaves.template slaves

编辑文件命令：vi slaves

下发文件到node02、node03上

下发命令：

scp -r spark-1.6.0 root@node02:/root/
scp -r spark-1.6.0 root@node03:/root/

启动集群

在node01上进入sbin目录下，执行当前目录下的./start-all.sh

进入目录命令： cd spark-1.6.0/sbin/

启动命令：./start-all.sh

此时node01位master,node02、node03位worker,可以通过jps命令查看

注意：

8080是Spark WEBUI界面的端口，7077是Spark任务提交的端口。

修改master的WEBUI端口：

1、修改start-master.sh即可。

2、可以在Master节点上导入临时环境变量，只是作用于之后的程序，重启就无效 了。

删除临时环境变量：

访问spark web-ui界面

测试

PI案例：

Standalone提交命令：

进入spark提交命令路径：cd spark-1.6.0/bin/

./spark-submit  --master spark://node01:7077 
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

web-ui界面效果

搭建客户端

将spark安装包原封不动的拷贝到一个新的节点上，然后，在新的节点上提交任务即可。

在node04上上传spark安装包并解压

修改解压包名称命令：mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0

进入spark提交命令路径：cd spark-1.6.0/bin/

./spark-submit  --master spark://node01:7077 
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

Standalone模式两种提交任务方式

Standalone-client提交任务方式

提交命令

./spark-submit  --master spark://node01:7077 
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

或者

./spark-submit   --master spark://node01:7077   --deploy-mode client 
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

执行原理图解

执行流程

1、client模式提交任务后，会在客户端启动Driver进程。

2、Driver会向Master申请启动Application启动的资源。

3、资源申请成功，Driver端将task发送到worker端执行。

4、worker将task执行结果返回到Driver端。

总结

client模式适用于测试调试程序。Driver进程是在客户端启动的，这里的客户端就是指提交应用程序的当前节点。在Driver端可以看到task执行的情况。生产环境下不能使用client模式，是因为：假设要提交100个application到集群运行，Driver每次都会在client端启动，那么就会导致客户端100次网卡流量暴增的问题。​​​​​​​

Standalone-cluster提交任务方式

提交命令

./spark-submit   --master spark://node01:7077   --deploy-mode cluster
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

执行原理图解

执行流程

1、cluster模式提交应用程序后，会向Master请求启动Driver.

2、Master接受请求，随机在集群一台节点启动Driver进程。

3、Driver启动后为当前的应用程序申请资源。

4、Driver端发送task到worker节点上执行。

5、worker将执行情况和执行结果返回给Driver端。

总结

Driver进程是在集群某一台Worker上启动的，在客户端是无法查看task的执行情况的。假设要提交100个application到集群运行,每次Driver会随机在集群中某一台Worker上启动，那么这100次网卡流量暴增的问题就散布在集群上。

总结Standalone两种方式提交任务，Driver与集群的通信包括：

1. Driver负责应用程序资源的申请

2. 任务的分发。

3. 结果的回收。

4. 监控task执行情况。

Yarn模式两种提交任务方式

yarn-client提交任务方式

提交命令

./spark-submit   --master yarn
 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

或者

./spark-submit   --master yarn–client
 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

或者

./spark-submit   --master yarn   --deploy-mode  client 
 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

执行原理图解

执行流程

1、客户端提交一个Application，在客户端启动一个Driver进程。

2、应用程序启动后会向RS(ResourceManager)发送请求，启动 AM(ApplicationMaster) 的资源。

3、RS收到请求，随机选择一台NM(NodeManager)启动AM。这里的NM相当于 Standalone中的Worker节点。

4、AM启动后，会向RS请求一批container资源，用于启动Executor.

a、RS会找到一批NM返回给AM,用于启动Executor。

b、AM会向NM发送命令启动Executor。

c、Executor启动后，会反向注册给Driver，Driver发送task到Executor,执 行 情况和结果返回给Driver端。

总结

Yarn-client模式同样是适用于测试，因为Driver运行在本地，Driver会与yarn集群中的Executor进行大量的通信，会造成客户机网卡流量的大量增加.

ApplicationMaster的作用：

1、为当前的Application申请资源

2、给NameNode发送消息启动Executor。

注意：ApplicationMaster有launchExecutor和申请资源的功能，并没有作业调度的功能。

yarn-cluster提交任务方式

提交命令

./spark-submit   --master yarn   --deploy-mode cluster 
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

或者

./spark-submit   --master yarn-cluster
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

执行原理图解

执行流程

1、客户机提交Application应用程序，发送请求到RS(ResourceManager),请求启动 AM(ApplicationMaster)。

2、RS收到请求后随机在一台NM(NodeManager)上启动AM（相当于Driver端）。

3、AM启动，AM发送请求到RS，请求一批container用于启动Executor。

4、RS返回一批NM节点给AM。

5、AM连接到NM,发送请求到NM启动Executor。

6、Executor反向注册到AM所在的节点的Driver。Driver发送task到Executor。

总结

Yarn-Cluster主要用于生产环境中，因为Driver运行在Yarn集群中某一台nodeManager中，每次提交任务的Driver所在的机器都是随机的，不会产生某一台机器网卡流量激增的现象，缺点是任务提交后不能看到日志。只能通过yarn查看日志。

ApplicationMaster的作用：

1、为当前的Application申请资源

2、给NameNode发送消息启动Excutor。

3、任务调度。

停止集群任务命令：yarn application -kill applicationID