012 Spark在IDEA中打jar包，并在集群上运行（包括local模式，standalone模式，yarn模式的集群运行）...

一：打包成jar

1.修改代码

　　

 

 

2.使用maven打包

　　但是目录中有中文，会出现打包错误

　　

 

3.第二种方式

　　

 

4.下一步

　　

 

5.下一步

　　

 

6.下一步

　　

 

7.下一步

　　

 

8.下一步

　　

 

9.完成

　　

 

 二：在集群上运行（local模式）

1.上传

　　

 

2.学习spark-submit的使用方式

　　

 

3.运行（local模式）

　　

 

4.运行结果

　　

 

三：集群上运行（standalone模式）

1.DeoloyMode

　　表示Driver执行的位置。

　　client如果是参数，则表示driver执行在执行spark-submit命令的机器上。

　　cluster是参数，则表示driver会运行在集群中选择的某一台机器上。

 

2.运行（standalone模式的client）

　　

 

3.结果（8080端口）

　　

 

4.运行（standalone模式的cluster）

　　

 

5.结果

　　

 

四：介绍模式

1.client

　　

 

2.cluster

　　工作中一般都是这个，想一下还是很符合实际的。

　　

 

五：YARN模式

1.使用方式

　　将上面的--master修改成yarn就可以运行了。