Spark-IDEA创建Spark项目(scala)

安装JDK、Scala、IDEA见我的其他博客有详细的介绍。

启动idea：

进入到某个文件夹：

File-NewProject：Scala-IDEA

Project Name：

File-Project Structure-Modules：新建文件夹，设为source

添加Library：

scala SDK：

 

Java Library：选择$SPARK_HOME/jar/下的所有包：

因为太多分两次导入的所有会有两个：

 

新建包，创建文件：

下面的案例使用scala.class。注意hadoop，spark要开启。

相同的案列的spark-shell实现在：https://blog.csdn.net/qq_25948717/article/details/83114400

直接在spark-shell下的案列不需要new出conf，sc，启动时已经初始化了，代码编写时却不能省略。

在IDEA里面编写的代码既可以直接在IDEA中运行或调试，也可以打包后提交到spark-shell。

注意提交到spark-submit时，读取的是HDFS的文件系统，输出的也是。

如果这里是通过arg参数来设置路径参数，则需要按照下面方式设置

 

1.直接运行：

 运行之前需要进行编译：Build-Make Project或者Ctrl+F9

 

  编译通过后，在代码界面单击鼠标右键，选择运行程序弹出“运行/调试配置”，或者下面：

选择输入设置的两个路径参数：路径是本地里面的，不是hdfs里面的，因为这个本地开发。Main Class也要选

单击Run-Run或Shift+F10运行：

运行可能会出现问题，把scala-SDK换成2.11版就行。

2.打包运行

设置包的输出路经：

设置完毕后：

生成项目的打包文件：

将文件提交到spark集群就可以了：

提交：（参数输入）

如果按照上面的程序则按下提交既可以：

如果提交后出现错误，可能是由于scala-SDK的版本所致，从创建项目开始都选择2.11.7版本就可以了。

可能出现该问题：但是不影响运行结果：

查看结果

运行：

会看到：

网页可查看：