解决spark streaming重复提交第三方jar包问题

最新推荐文章于 2022-03-23 15:51:50 发布

shengjk1

最新推荐文章于 2022-03-23 15:51:50 发布

阅读量926

点赞数 1

本文链接：https://blog.csdn.net/jsjsjs1789/article/details/82902292

版权

工作之行专栏收录该内容

158 篇文章 6 订阅

订阅专栏

背景：
由于spark streaming每次提交都需要上传大量jar包到hdfs，为节约HDFS资源，现只存一份来解决这个问题

组件：
CDH 5.13 spark2.2.x

针对cluster模式
对于spark streaming而言，第三方jar包是一个值得探讨的问题，相信大部分都是打的源码包，然后提交jar，想通过–jars $(echo sparklib0.10/*.jar | tr ’ ’ ‘,’) 这种方式，但这种方式有一个弊端就是每一个application都需要提交大量的jar包，
在这里插入图片描述
并且这些jar包有大部分是可以在多个application中公用的，故直接将这些公用jar传到HDFS上，然后通过

--jars $(`echo hadoop fs -ls hdfs://nameservice1/sparklib010/*.jar` |awk {'print $8'}| tr '\n' ',')

来进行提交，
在这里插入图片描述
非公共部分，可继续使用–jars来提交

--jars $(echo sparklib0.10/*.jar | tr ' ' ',')

整体上是这个样子的

--jars $(`echo hadoop fs -ls hdfs://nameservice1/sparklib010/*.jar` |awk {'print $8'}| tr '\n' ',') --jars  --jars $(echo sparklib0.10/*.jar | tr ' ' ',')

client模式
对于HDFS上的包，首次使用它会下载下来，然后在传上去，用不用公共包自行定夺喽
在这里插入图片描述