spark 解决提交任务是 第三方依赖的问题

1解决我们自己模块的依赖

 

在提交spark任务的时候用 –jars参数加上jar路径。路径用逗号隔开。

2解决第三方依赖(保证每一个节点都有这个目录)

步骤

  1. 创建一个目录存放第三方依赖

      [root@master spark]# mkdir myjars

        

 

    2.将所有jar放入该目录

    

     3.修改spark配置文件

   

     [root@master spark]# cd conf/

     [root@master conf]# vi spark-defaults.conf

     4 在spark-default.conf加上如下配置

 

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页