前言
IDEA的安装、创建maven工程和scala编程不是本文的重点,这里主要介绍打包并放至spark集群上运行的方法。(具体安装和配置操作的参考链接:https://blog.csdn.net/s863222424/article/details/102979162
具体步骤
- 创建一个scala class文件,写上一段简单的scala代码。
package main.scala
object helloworld {
def main(args: Array[String]):Unit = {
println("Hello World!")
}
}
运行结果:
- 打包scala程序
首先配置pom.xml
下面给出一些常见的Maven依赖,IDEA会自动下载这些依赖,在下载的时候右下角会一直有转圈的符号,下载完成后会变成绿色。
<properties>
<spark.version>2.1.0</spark.version>
<scala.version>2.11</scala.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_${
scala.version}</artifactId