Spark的Application和依赖的公共jar包单独存放

最新推荐文章于 2022-12-10 15:57:51 发布

渭水飞熊

最新推荐文章于 2022-12-10 15:57:51 发布

阅读量1k

点赞数 1

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/achilles12345/article/details/77946999

版权

spark 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

    在Spark做大数据分析的时候，我们需要将依赖的第三方jar包或者我们自己写的公共包单独放在不同的地方，这样可以保持有一份公共的jar包库，当有新的开发任务或者要部署到其其他服务器的时候，只要把这些jar包拷贝过去就行。
    比如我在我的服务器上建立两个目录，一个是commonlib，一个是driverlib，我们可以将依赖的第三方jar包,比如mysql的驱动jar包放在commonlib文件夹下，可以将我们的Application的jar包放在driverlib下，提交任务的时候设置spark.executor.extraClassPath设置为commonlib，将spark.driver.extraClasspath设置为driverlib就可以了。