Scala-4-使用sbt打包spark程序提交运行

spark版本2.3及以下。

1 本地IntellIJ IDEA运行

yourtest.scala

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object yourtest {
   
  def main(args:Array[String]){
   
    val conf=new SparkConf()
    conf.setAppName("justtest")
    conf.setMaster("local[2]")
    val sc=new SparkContext(conf)
    sc.setLogLevel("WARN")
    val data = sc.textFile("file:///root/file.txt")
    print(data.count())
  }
}

注意本地文件file:///root/file.txt的写法。

2 打包提交运行

2.1 打包

(1)file->Porject Structure->Artifacts->绿色的加号->JAR->from modules…

(2)跳出以下对话框，选择要打包的类，然后选择copy to…选项，意思是只打包这一个类。

打包完成会有目录out出现。

然后Build=>Build Artifacts=>Build。

2.2 本地提交运行

运行之前可以不启动standalone模式的spark。

#spark-submit --class  "yourtest"  /roo