spark 任务添加外部依赖包

1. spark 任务添加外部依赖包

依赖包放这个目录下 spark on yarn:
/opt/spark/spark-2.1.1-bin-hadoop2.6/jars

mkdir -p /opt/external_jars
ln -s /opt/external_jars /opt/spark/spark-2.1.1-bin-hadoop2.6/jars/external_jars


具体操作如下：
（1）新建目录
mkdir -p /opt/external_jars
（2）上传依赖包
XXX
（3）建立软链接
ln -s /opt/external_jars $SPARK_HOME/jars/external_jars
(4)执行任务即可
xxx

注意：$SPARK_HOME 为spark安装目录