提交命令如下
spark-submit --master yarn --class org.example.SparkDemoClass spark-demo-1.0-SNAPSHOT.jar param1,param2,"param3,param3.1" --jars /local/jars/hive-hcatalog-core-2.0.0.jar,/local/jars/mysql-connector-java-5.1.46.jar
- 传递给main方法的参数,按照添加顺序依次传入,如果某个参数含有空格则需要使用双引号将该参数扩起来;
spark submit脚本中各参数顺序的注意事项:
- 每个参数(最后一个参数除外)后需要先空格再使用\表示结尾;
- spark-submit必须写在最前面;
- class、master yarn、deploy-mode client等使用了--标注的参数的顺序可以相互调整;
- application jar名这个参数必须写在使用了--标注的参数后;
- 向main方法传递的参数必须写在application jar之后。