如何配置sbt的build.sbt使得编译时将依赖包也打包进去

在使用spark on yarn提交任务时遇到找不到依赖包的问题,通过检查日志发现jar中未包含依赖。解决方案是使用sbt的assembly插件,将项目依赖打包进jar。配置sbt-assembly插件并在plugins.sbt中添加相关依赖,执行`sbt assembly`和`sbt package`命令,最后成功运行spark任务。
摘要由CSDN通过智能技术生成

最近在使用spark on yarn模式提交任务,下面是我测试的案例

--提交命令

spark-submit --master yarn-cluster --class com.htlx.sage.bigdata.spark.etl.Application --driver-memory 1g --num-executors 2 --executor-memory 2g --executor-cores 2  my-spark-etl_2.11-1.0-SNAPSHOT.jar 

--运行后报的错误是


--对这个错误很是郁闷,上网查说是配置问题,可是我运行其他代码就没问题,再说我在搭建集群的时候很是研究了一番,集群不会出现错误,所以我只能去yarn的运行日志中,在yarn的日志中也没有发现什么只有上面这个错误,然后我又去运行该程序的日志中找


评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值