spark on yarn

转载 2015年07月08日 16:41:56
spark on yarn 的支持两种模式
1)yarn-cluster:适用于生产环境;
2)yarn-client:适用于交互、调试,希望立即看到app的输出
Yarn-cluster和yarn-client的区别在于appMaster:yarn appMaster,每个yarn app实例有一个appMaster进程,是为app启动的第一个container;负责从ResourceManager请求资源,获取到资源后,告诉NodeManager为其启动container;appMaster消除了active client的需要,app client启动app后可以结束,协调由运行在cluster上被yarn管理的进程继续


Yarn-cluster mode
Spark的dirver 运行在 appMaster中,appMaster进程同时负责driving app,请求资源;
启动spark app的client不需要一直存在于整个spark app运行生命周期


yarn-client mode
某些情况需要与spark交互,要求user input,如spark-shell和pyspark,这样的spark app需要spark-driver运行在初始化spark app的client端进程中
这种情况,appMaster仅仅用于从yarn集群请求executor,app client会和请求的container通信来调度他们工作



相关文章推荐

Spark-on-YARN-A-Deep-Dive-Sandy-Ryza

  • 2015年09月22日 16:40
  • 5.42MB
  • 下载

Spark on yarn的内存分配问题

问题描述 在测试spark on yarn时,发现一些内存分配上的问题,具体如下。 在$SPARK_HOME/conf/spark-env.sh中配置如下参数: SPARK_EXEC...
  • wisgood
  • wisgood
  • 2016年05月17日 15:02
  • 2715

spark-shell on yarn 出错(arn application already ended,might be killed or not able to launch applic)解决

今天想要将spark-shell 在yarn-client的状态下 结果出错: [hadoop@localhost spark-1.0.1-bin-hadoop2]$ bin/spark-shell...

Spark2.0.1 on yarn with hue 集群安装部署(六)hue+hive+sparksql

hue+hive+sparksql hue bug,spark bug hive metastore spark默认访问derby数据库
  • dockj
  • dockj
  • 2016年11月28日 22:55
  • 1090

idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行

maven+scala+idea创建第一个wordcount项目,打包成jar并用命令行在spark on yarn集群上运行。...

Spark On Yarn环境搭建

最近在打Spark环境,下面hi简单总结: 一、 基本布局 1、 服务器分布: 10.168.9.240  主名字节点,同时为数据节点 10.168.9.241   备名字节点...

部署zeppelin时遇到的spark on yarn的submit方式问题

部署zeppelin时候遇到的一个跟spark submit application模式相关的问题

spark Lost executor on YARN

执行脚本出现: 15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 8 on myhost1.com: remote R...

spark on yarn 集群 安装

一集群基础环境 centos65 64 位 Hadoop 完全分布见教程httpblogcsdnnetu011414200articledetails47681711 集群说明 安装包 二 scala...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark on yarn
举报原因:
原因补充:

(最多只允许输入30个字)