idea编写的spark应用程序打成jar包到集群运行

本胖使用sbt进行spark的包管理，打成jar包到spark环境运行

1.打开idea项目结构配置页面，可以使用快捷键ctrl+shift+alt+s

2.添加应用程序的jar包设置

然后弹出这个窗口，直接点击ok到下一步就行

3.去除其他包的依赖，只保留你要打包的应用程序，这里还不是很明白原理，但是按照步骤这样点击，最后打包出来的就只有一个jar包，所有依赖都会包含在内

4.编译生成jar包，会出现如下两个画面。

 

点击build进行编译生成jar包！

5.最后将会在工程结构目录中看到out文件夹，在其中能找到你编译生成的jar包，这就是你待会儿要传到集群中去运行的jar包文件。

6.将这个jar包上传到你的集群环境中去运行，使用命令

/usr/local/spark/bin/spark-submit 
--class FirstTestJar //这是你的应用程序的主类名，不是你的工程名称
--master spark://master:7077 //这是你的运行模式，比如还有local模式，我这里是使用的集群模式
--executor-memory 1024m //设置每个核使用多少内存
--total-executor-cores 6 //设置使用多少个核运行
sparkJarTest.jar  //刚才打包生成的jar包

注意：后面的中文需要去掉，这是注释的作用，应该都懂，嘿嘿~

最后你能看到你的集群返回给你结果了，这个就不全部截图了，只给出部分log信息。

最后一点需要注意的地方是，作为一个小白，真的不知道setMaster这个东西有啥作用，暂时的理解为在idea上进行应用程序调试的时候，使用setMaster("local")就好了，可以简单理解为单机多线程处理。而打包时将这个地方进行注释掉，因为使用命令运行的时候，会给出master的，看上面的--master就知道了。