Yarn
--master 值为yarn
--deploy-mode 部署模式,运行driver进程在客户端还是集群上,默认为客户端(client),可以指定为cluster
--class 运行程序的类的全限定名
--name 运行程序的名称
--jars 运行程序的jar包,一般放在hdfs上面
--conf 运行程序需要指定配置信息
--driver-memory 运行程序指定的driver的内存,默认为1G
--executor-memory 单个executor需要分配的内存大小,默认为1G
--proxy-user NAME 提交应用程序时要模拟的用户,此参数不适用于--principal/--keytab
-v 打印其他调试输出
--version, 打印当前的spark版本
--driver-cores driver驱动程序的核数,默认为1,只有在部署模式为cluster的时候有效
--num-executors executor的个数,默认为2个executor
--executor-cores executor的核数,默认为1个cpu核数
Standalone
--master 值为spark://host:port
--deploy-mode 部署模式,运行driver进程在客户端还是集群上,默认为客户端(client),可以指定为cluster
--class 运行程序的类的全限定名
--name 运行程序的名称
--jars 运行程序的jar包,一般放在hdfs上面
--conf 运行程序需要指定配置信息
--driver-memory 运行程序指定的driver的内存,默认为1G
--executor-memory 单个executor需要分配的内存大小,默认为1G
--proxy-user NAME 提交应用程序时要模拟的用户,此参数不适用于--principal/--keytab
-v 打印其他调试输出
--version, 打印当前的spark版本
--driver-cores driver驱动程序的核数,默认为1,只有在部署模式为cluster的时候有效
--kill 如果给定则杀死指定的程序,只有在部署模式为cluster的时候有效
--status 如果给定,则请求指定驱动程序的状态,只有在部署模式为cluster的时候有效
--supervise 如果给定,则在出现故障时重新启动驱动程序,只有在部署模式为cluster的时候有效
--executor-cores executor的核数,默认为所有可用的cpu内核数
--total-executor-cores 所有的executor的核数,
Mesos
--master 值为mesos://host:port
--deploy-mode 部署模式,运行driver进程在客户端还是集群上,默认为客户端(client),可以指定为cluster
--class 运行程序的类的全限定名
--name 运行程序的名称
--jars 运行程序的jar包,一般放在hdfs上面
--conf 运行程序需要指定配置信息
--driver-memory 运行程序指定的driver的内存,默认为1G
--executor-memory 单个executor需要分配的内存大小,默认为1G
--proxy-user NAME 提交应用程序时要模拟的用户,此参数不适用于--principal/--keytab
-v 打印其他调试输出
--version, 打印当前的spark版本
--total-executor-cores 所有的executor的核数,
--supervise 如果给定,则在出现故障时重新启动驱动程序,只有在部署模式为cluster的时候有效
--kill 如果给定则杀死指定的程序,只有在部署模式为cluster的时候有效
--status 如果给定,则请求指定驱动程序的状态,只有在部署模式为cluster的时候有效
spark submit主要参数介绍
最新推荐文章于 2023-10-20 14:06:27 发布