首先在idea中new->project, 然后如图:
之后步骤如下:
之后点击finish。
在src/main/scala/wr路径下新建一个scala文件WordCount.scala,代码如下:
package wr
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
def main(args: Array[String]) {
// if (args.length < 1) {
// System.err.println("Usage: <file>")
// System.exit(1)
// }
val conf = new SparkConf().setAppName("wordCount").setMaster("local")
val sc = new SparkContext(conf)
val line = sc.textFile("/user/root/test")
line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect().foreach(println)
sc.stop()
}
}
在原始pom.xml的基础上更改scala.version的值,改成idea中scala SDK版本。之后删除有关Junit的配置行,同时删除src文件并排的test文件夹,(因为test用处不大,但是有可能因为版本问题出错,因此在此处我选择删除)同时增加下面两个配置。(这里适用于WordCount)如果是复杂的,则需要在增加更多配置,在这里省略
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<configuration>
<archive>
<manifest>
<mainClass>wr.WordCount</mainClass>
</manifest>
</archive>
</configuration>
</plugin>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.0</version>
</dependency>
之后在project Structure中的Artifacts中进行添加
之后点击apply之后点击OK。打包完成。
在菜单栏的build中点击下图按钮。之后点击build。最后在maven projects中的Lifecycle中选择package,进行打包即可。