IDEA里如何多种方式打jar包，然后上传到集群

 

 

关于IDEA里如何多种方式打jar包，然后上传到集群的问题？

　　前期准备，就是在，IDEA里，maven来创建项目。这里不多赘述。

 

　　1）用maven项目来打包，我推荐这个。 （强烈推荐，简单又快速）

Spark编程环境搭建（基于Intellij IDEA的Ultimate版本）

　　而且，还可以改名。比如我这篇博客里最后打好需要包括MyJavaWordCount.java和MyScalaWordCout.scala，默认名为test-spark-1.0-SNAPSHOT.jar，你自己可以更改，这个不是重点。

 

 

      2）如下，以下这种方式，看看就好，显得有点冗长。

 

 

 

 

 

 

 

 

 

 

 

 

　　一般，我们，习惯将默认的D:\Code\IntelliJIDEACode\spark-helloworld\src\main\scala

　改为 D:\Code\IntelliJIDEACode\spark-helloworld\src

 

 

　　如下，不是maven创建出来的项目，到了这一步，需要如下。（我这里是manven，所以不需）

 

 

 

 

 

 

 name:spark-helloworld:jar

 Output directory: D:\Code\IntelliJIDEACode\spark-helloworld\out\artifacts\spark-helloworld_jar

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 　　比如，我这里

[spark@sparksinglenode testspark]$ $HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/spark/testspark/words.txt hdfs://sparksinglenode:9000/