解决spark streaming重复提交第三方jar包问题

背景:
由于spark streaming每次提交都需要上传大量jar包到hdfs,为节约HDFS资源,现只存一份来解决这个问题

组件:
CDH 5.13 spark2.2.x

针对cluster模式
对于spark streaming而言,第三方jar包是一个值得探讨的问题,相信大部分都是打的源码包,然后提交jar,想通过–jars $(echo sparklib0.10/*.jar | tr ’ ’ ‘,’) 这种方式,但这种方式有一个弊端就是每一个application都需要提交大量的jar包,
在这里插入图片描述
并且这些jar包有大部分是可以在多个application中公用的,故直接将这些公用jar传到HDFS上,然后通过

--jars $(`echo hadoop fs -ls hdfs://nameservice1/sparklib010/*.jar` |awk {'print $8'}| tr '\n' ',')

来进行提交,
在这里插入图片描述
非公共部分,可继续使用–jars来提交

--jars $(echo sparklib0.10/*.jar | tr ' ' ',')

整体上是这个样子的

--jars $(`echo hadoop fs -ls hdfs://nameservice1/sparklib010/*.jar` |awk {'print $8'}| tr '\n' ',') --jars  --jars $(echo sparklib0.10/*.jar | tr ' ' ',')

client模式
对于HDFS上的包,首次使用它会下载下来,然后在传上去,用不用公共包自行定夺喽
在这里插入图片描述

我的博客即将同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=2d706r5fp5lw8

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shengjk1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值