本胖使用sbt进行spark的包管理,打成jar包到spark环境运行
1.打开idea项目结构配置页面,可以使用快捷键ctrl+shift+alt+s
2.添加应用程序的jar包设置
然后弹出这个窗口,直接点击ok到下一步就行
3.去除其他包的依赖,只保留你要打包的应用程序,这里还不是很明白原理,但是按照步骤这样点击,最后打包出来的就只有一个jar包,所有依赖都会包含在内
4.编译生成jar包,会出现如下两个画面。
点击build进行编译生成jar包!
5.最后将会在工程结构目录中看到out文件夹,在其中能找到你编译生成的jar包,这就是你待会儿要传到集群中去运行的jar包文件。
6.将这个jar包上传到你的集群环境中去运行,使用命令
/usr/local/spark/bin/spark-submit
--class FirstTestJar //这是你的应用程序的主类名,不是你的工程名称
--master spark://master:7077 //这是你的运行模式,比如还有local模式,我这里是使用的集群模式
--executor-memory 1024m //设置每个核使用多少内存
--total-executor-cores 6 //设置使用多少个核运行
sparkJarTest.jar //刚才打包生成的jar包
注意:后面的中文需要去掉,这是注释的作用,应该都懂,嘿嘿~
最后你能看到你的集群返回给你结果了,这个就不全部截图了,只给出部分log信息。
最后一点需要注意的地方是,作为一个小白,真的不知道setMaster这个东西有啥作用,暂时的理解为在idea上进行应用程序调试的时候,使用setMaster("local")就好了,可以简单理解为单机多线程处理。而打包时将这个地方进行注释掉,因为使用命令运行的时候,会给出master的,看上面的--master就知道了。