Spark yarn执行方式

原创 2018年04月16日 16:31:16
./bin/spark-submit --class org.xh.classification.chineseNaiveBayes.ChineseNavieBayes2 --master yarn --deploy-mode client /home/chineseNaiveBayes-0.0.1-SNAPSHOT-jar-with-dependencies.jar 1000
注释:
1.  org.xh.classification.chineseNaiveBayes.ChineseNavieBayes2           主函数所在的类
2. /home/chineseNaiveBayes-0.0.1-SNAPSHOT-jar-with-dependencies.jar    项目的jar包

3. 1000 需要输入的参数

参考:https://blog.csdn.net/qq_23330633/article/details/52216155?locationNum=4

Spark on yarn 提交应用的方式

Spark on yarn 提交应用的方式 通过spark-submit –help可以看到spark-submit的三种用法。 Usage: spark-submit [options] ...
  • u013468917
  • u013468917
  • 2016-09-23 11:48:53
  • 1327

Spark Standalone与Spark on YARN的几种提交方式

进来看!
  • Dr_Guo
  • Dr_Guo
  • 2016-04-26 22:06:46
  • 6120

spark yarn-cluster模式提交task流程

spark yarn-cluster模式提交task流程
  • wuwenxiang91322
  • wuwenxiang91322
  • 2017-03-15 23:38:34
  • 575

spark on yarn 的运行模式

Spark on Yarn的两种运行模式实战: 此时不需要启动Spark集群,只需要启动Yarn即可,Yarn的ResourceManager就相对于Spark Standalone模式下的Mast...
  • shenxiaoming77
  • shenxiaoming77
  • 2017-01-20 13:35:57
  • 1510

Spark on yarn--几种提交集群运行spark程序的方式

今天看了spark的yarn配置,本来想着spark在hadoop集群上启动之后,还需要配置spark才能让yarn来管理和调度spark的资源,原来启动master和worker之后就会让yarn来...
  • u012940753
  • u012940753
  • 2016-04-01 14:45:36
  • 4032

Spark on YARN两种运行模式介绍

文章来源:http://www.aboutyun.com/thread-12294-1-1.html 问题导读 1.Spark在YARN中有几种模式...
  • buster2014
  • buster2014
  • 2015-12-01 18:33:26
  • 4328

Spark on Yarn遇到的几个问题及解决思路

Spark on Yarn模式,其资源分配是交给Yarn的ResourceManager来进行管理的,但是目前的Spark版本,Application日志的查看,只能通过Yarn的yarn logs命...
  • guohecang
  • guohecang
  • 2016-10-09 17:05:15
  • 2887

Stop Spark Streaming On YARN Gracefully

一、问题 在YARN上停止Spark Streaming的方式比较粗暴“yarn application -kill [applicationId]”。 命令执行后,YARN在分配给Streaming...
  • hammertank
  • hammertank
  • 2015-11-18 10:26:56
  • 1302

第1章 对运行在YARN上的Spark进行性能调优

第1章  对运行在YARN上的Spark进行性能调优1.1      运行环境Jar包管理及数据本地性原理调优实践1.1.1运行环境Jar包管理及和数据本地性原理在YARN上运行Spark需要在Spa...
  • duan_zhihua
  • duan_zhihua
  • 2017-06-06 16:14:58
  • 555

查看spark on yarn的日志和程序状态的方法

查看spark on yarn的日志
  • high2011
  • high2011
  • 2016-08-05 21:13:29
  • 9783
收藏助手
不良信息举报
您举报文章:Spark yarn执行方式
举报原因:
原因补充:

(最多只允许输入30个字)