1.创建项目:
选好javaSDK和scalaSDK
2.导入Spark
的jar
文件依赖:
File-Project Structure-Libraries-jar 选择 spark路径下lib文件夹内的assembly jar包。
选择菜单中的“Run” ->“Edit Configurations”,修改“Main class”和“VM options”。
在VM options中输入“
-Dspark.master=local
”,指示本程序本地单线程运行。
3.编写代码:
4.打jar包:
File-Project Structure-Artifacts-JAR-From modules with dependencies
注意名字这里要把“:jar”去掉
5.build Jar包:
Build-Build Artifacts...
选择build
假设jar的存放目录为/usr/Dery/Desktop/FilghtUSA.jar
则提交spark运行的代码为:
./spark-aubmit
--class com.liufan.sdut.flightUSA /*
运行包下的类
*/
--master spark://Master:7077
/* masterIP
*/
/usr/Dery/Desktop/FilghtUSA.jar
/*jar包存放地址
*/