Spark 代码制作jar包

如果用Spark job server,就需要用Spark ignitor这个Web UI来提交。如果用原本的Spark,就可以通过spark-submit来提交。当然你可以用interactive的spark-shell来写code,但是本文关注job一次性提交。


不管是用job server还是spark-submit,都需要把你的code打成jar包。本文讲两种方式来生成jar包,目标只是为了简单,不用自己配置。


如果是用job server,就可以借助job server的源码包。把你的code放到job server源码包里面,这样直接sbt就行了,target里面有jar包。


如果是用spark-submit,可以借助spark的源码包,把你的code放到example文件夹里面,直接sbt,target里面有jar包。


当然这两种方式会把不相关的code打进你的jar包,但是好处是省去了你很多配置的时间。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值