可以通过 --jars 添加依赖到executor的运行时环境中
还可以通过 --driver-class-path 添加依赖到driver的运行时环境中
当然,最省事的办法: 把需要的依赖都打进自己的程序jar中
命令模板示例:
bin/spark-submit \
--class cn.doitedu.data.pre.ApplogPreprocess \
--master yarn \
--deploy-mode client \
--num-executors 3 \
--executor-memory 2g \
--executor-cores 2 \
--driver-memory 2g \
--driver-cores 1 \
--jars hdfs://h1:8020/jars/mysql-connector-java-5.1.48.jar \
--driver-class-path /root/mysql-connector-java-5.1.48.jar \
/root