如果用Spark job server,就需要用Spark ignitor这个Web UI来提交。如果用原本的Spark,就可以通过spark-submit来提交。当然你可以用interactive的spark-shell来写code,但是本文关注job一次性提交。
不管是用job server还是spark-submit,都需要把你的code打成jar包。本文讲两种方式来生成jar包,目标只是为了简单,不用自己配置。
如果是用job server,就可以借助job server的源码包。把你的code放到job server源码包里面,这样直接sbt就行了,target里面有jar包。
如果是用spark-submit,可以借助spark的源码包,把你的code放到example文件夹里面,直接sbt,target里面有jar包。
当然这两种方式会把不相关的code打进你的jar包,但是好处是省去了你很多配置的时间。