Spark on yarn 提交应用的方式

最新推荐文章于 2023-08-23 22:46:05 发布

古月慕南

最新推荐文章于 2023-08-23 22:46:05 发布

阅读量3.1k

点赞数

分类专栏： BigData-器文章标签： spark yarn 应用

本文链接：https://blog.csdn.net/u013468917/article/details/52636584

版权

本文将详细探讨如何使用Spark在YARN上提交应用程序，重点在于理解提交过程中的命令选项，例如使用--verbose或-v参数来获取调试信息。

摘要由CSDN通过智能技术生成

Spark on yarn 提交应用的方式

通过spark-submit –help可以看到spark-submit的三种用法。
Usage: spark-submit [options] <app jar | python file> [app arguments]
2、根据job的id杀死某个job，仅支持在standalone和Mesos模式下使用
Usage: spark-submit --kill [submission ID] --master [spark://...]
3、查看某个job的状态，仅支持在standalone和Mesos模式下使用
Usage: spark-submit --status [submission ID] --master [spark://...]

在spark on yarn模式下，仅使用第一种。提交job的常用选项及说明：

--master MASTER_URL #指定spark应用的运行模式可选项包括spark://host:port, mesos://host:port, yarn, local.若以spark on yarn模式运行应用则需选择yarn

--deploy-mode DEPLOY_MODE #设定部署应用的方式可选项有：client和cluster
在client模式下，driver进程会运行在本地，可以在程序运行中进行交互，一般在实验环境中使用，也是默认的部署形式，spark-shell就是以这个模式运行的。
在cluster模式下，主节点会随机选取一个slave节点启动driver进程，不占用master节点资源，适合在生产环境使用。

--class C