spark-submit \
--class com.xxx.bigdata.handler.xxx \ -- 运行的主类
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--executor-memory 2g \
--executor-cores 2 \
--jars hdfs:///user/admin/xx/basejar/dw-xx-1.0.0-SNAPSHOT.jar,hdfs:///user/admin/xx/basejar/dw-xx-1.0.0-SNAPSHOT.jar,hdfs:///user/admin/xx/basejar/base-1.0-SNAPSHOT-shaded.jar,hdfs:///user/admin/xx/basejar/xx-sdk-1.0.0-SNAPSHOT.jar \ -- 依赖的jar包必须在一行
hdfs:///user/admin/xx/sourcejar/dw-xx-sdk-1.0.0-SNAPSHOT.jar -- 运行的主类所在的jar包
提交任务的时候,--jars指定jar包的时候,依赖jar和业务jar只能位于两行,依赖jar在第一行,业务jar在第二行。
否则会报找不到类的问题