ha怎么样把maven打包_Spark用IntelliJ + maven打jar包上传到Spark集群上运行

因为需要用Hadoop的HDFS所以要启动Hadoop

1.启动Hadoop

2.启动Spark集群

3.打开IntelliJ

创建maven项目

然后配置maven项目的pom.xml文件

内容如下

1.8

1.8

UTF-8

org.scala-lang

scala-library

2.11.8

org.apache.spark

spark-core_2.11

2.1.1

org.apache.hadoop

hadoop-client

2.2.0

net.alchim31.maven

scala-maven-plugin

3.2.2

org.apache.maven.plugins

maven-compiler-plugin

3.5.1

net.alchim31.maven

scala-maven-plugin

scala-compile-first

process-resources

add-source

compile

scala-test-compile

process-test-resources

testCompile

org.apache.maven.plugins

maven-compiler-plugin

compile

compile

4.打jar包

删掉多余jar除了最后一个文件(因为这样jar包内存会小很多，一般集群上都有删除掉的那些jar包的)，点击apply然后点击ok

拷贝jar包到你方便的位置

5.上传jar包并运行

6。查看结果