spark submit主要参数介绍

Yarn
  --master                        值为yarn
  --deploy-mode                   部署模式,运行driver进程在客户端还是集群上,默认为客户端(client),可以指定为cluster
  --class                         运行程序的类的全限定名
  --name                          运行程序的名称
  --jars                          运行程序的jar包,一般放在hdfs上面
  --conf                          运行程序需要指定配置信息
  --driver-memory                 运行程序指定的driver的内存,默认为1G
  --executor-memory               单个executor需要分配的内存大小,默认为1G
  --proxy-user NAME               提交应用程序时要模拟的用户,此参数不适用于--principal/--keytab
  -v                              打印其他调试输出
  --version,                      打印当前的spark版本
  --driver-cores                  driver驱动程序的核数,默认为1,只有在部署模式为cluster的时候有效
  --num-executors                 executor的个数,默认为2个executor
  --executor-cores                executor的核数,默认为1个cpu核数
Standalone
  --master                        值为spark://host:port
  --deploy-mode                   部署模式,运行driver进程在客户端还是集群上,默认为客户端(client),可以指定为cluster
  --class                         运行程序的类的全限定名
  --name                          运行程序的名称
  --jars                          运行程序的jar包,一般放在hdfs上面
  --conf                          运行程序需要指定配置信息
  --driver-memory                 运行程序指定的driver的内存,默认为1G
  --executor-memory               单个executor需要分配的内存大小,默认为1G
  --proxy-user NAME               提交应用程序时要模拟的用户,此参数不适用于--principal/--keytab
  -v                              打印其他调试输出
  --version,                      打印当前的spark版本
  --driver-cores                  driver驱动程序的核数,默认为1,只有在部署模式为cluster的时候有效
  --kill                          如果给定则杀死指定的程序,只有在部署模式为cluster的时候有效
  --status                        如果给定,则请求指定驱动程序的状态,只有在部署模式为cluster的时候有效
  --supervise                     如果给定,则在出现故障时重新启动驱动程序,只有在部署模式为cluster的时候有效
  --executor-cores                executor的核数,默认为所有可用的cpu内核数 
  --total-executor-cores          所有的executor的核数,
Mesos
  --master                        值为mesos://host:port
  --deploy-mode                   部署模式,运行driver进程在客户端还是集群上,默认为客户端(client),可以指定为cluster
  --class                         运行程序的类的全限定名
  --name                          运行程序的名称
  --jars                          运行程序的jar包,一般放在hdfs上面
  --conf                          运行程序需要指定配置信息
  --driver-memory                 运行程序指定的driver的内存,默认为1G
  --executor-memory               单个executor需要分配的内存大小,默认为1G
  --proxy-user NAME               提交应用程序时要模拟的用户,此参数不适用于--principal/--keytab
  -v                              打印其他调试输出
  --version,                      打印当前的spark版本
  --total-executor-cores          所有的executor的核数,  
  --supervise                     如果给定,则在出现故障时重新启动驱动程序,只有在部署模式为cluster的时候有效
  --kill                          如果给定则杀死指定的程序,只有在部署模式为cluster的时候有效
  --status                        如果给定,则请求指定驱动程序的状态,只有在部署模式为cluster的时候有效

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值