1、用spark运行程序时,如果程序需要依赖其它的jar包,一般用–jars 后面加上依赖的包,如果有多个依赖包,则这些包之间用逗号(,) 分割。其中需要注意的是,–jars 需要放在主jar 包之前,主jar 包后面的一般默认为参数。形式如下所示
$SPARK_HOME --class MAIN_CLASS -jars $JARS --master yarn --deploy-mode cluster $MAIN_JAR $ARGS...
1、用spark运行程序时,如果程序需要依赖其它的jar包,一般用–jars 后面加上依赖的包,如果有多个依赖包,则这些包之间用逗号(,) 分割。其中需要注意的是,–jars 需要放在主jar 包之前,主jar 包后面的一般默认为参数。形式如下所示
$SPARK_HOME --class MAIN_CLASS -jars $JARS --master yarn --deploy-mode cluster $MAIN_JAR $ARGS...