spark on yarn

转载 2015年07月08日 16:41:56
spark on yarn 的支持两种模式
1)yarn-cluster:适用于生产环境;
2)yarn-client:适用于交互、调试,希望立即看到app的输出
Yarn-cluster和yarn-client的区别在于appMaster:yarn appMaster,每个yarn app实例有一个appMaster进程,是为app启动的第一个container;负责从ResourceManager请求资源,获取到资源后,告诉NodeManager为其启动container;appMaster消除了active client的需要,app client启动app后可以结束,协调由运行在cluster上被yarn管理的进程继续


Yarn-cluster mode
Spark的dirver 运行在 appMaster中,appMaster进程同时负责driving app,请求资源;
启动spark app的client不需要一直存在于整个spark app运行生命周期


yarn-client mode
某些情况需要与spark交互,要求user input,如spark-shell和pyspark,这样的spark app需要spark-driver运行在初始化spark app的client端进程中
这种情况,appMaster仅仅用于从yarn集群请求executor,app client会和请求的container通信来调度他们工作



Spark on Yarn集群搭建详细过程

由于最近学习大数据开发,spark作为分布式内存计算框架,当前十分火热,因此作为首选学习技术之一。Spark官方提供了三种集群部署方案: Standalone, Mesos, Yarn。其中 Stan...
  • u010638969
  • u010638969
  • 2016年04月29日 17:19
  • 23197

Eclipse调用Spark on yarn问题及解决

软件版本:Spark1.4.1 ,Hadoop2.6,Scala2.10.5 , Eclipse4.5.1,intelliJ IDEA14,JDK1.7集群环境:windows7 (包含JDK1.7,...
  • fansy1990
  • fansy1990
  • 2016年08月04日 15:24
  • 3352

Spark on Yarn:性能调优

1. 调优经验 应该说,Spark开发中,具体采用什么调优方法去优化性能,需要根据具体算法和实现而定,适合我们这个问题的方法不一定就适合其他问题,但希望我们的经验可以让其他人少踩点坑,更多的...
  • Johnny_Lee
  • Johnny_Lee
  • 2014年01月17日 18:42
  • 8004

Spark on Yarn 高可用集群搭建 + livy

  • 2018年01月09日 23:11
  • 127KB
  • 下载

Spark-on-YARN-A-Deep-Dive-Sandy-Ryza

  • 2015年09月22日 16:40
  • 5.42MB
  • 下载

【讲义-第10期Spark公益大讲堂】Spark on Yarn-.pdf

  • 2014年08月29日 16:00
  • 2.81MB
  • 下载

基因数据处理98之SparkBWA运行时spark on Yarn问题日志完整记录

脚本:hadoop@Mcnode1:~/xubo/tools/SparkBWA/build$ cat paired.sh spark-submit --class SparkBWA \ ...
  • bob601450868
  • bob601450868
  • 2018年01月11日 00:43
  • 12

Spark On Yarn 如何提高CPU利用率

问题描述:       Spark on Yarn是利用yarn进行资源调度,这两天我写的一个程序处理大概100W行文本,文本格式是txt,数据大小为50M左右。我将Scala写的代码打包扔到集群上执...
  • qq_32253371
  • qq_32253371
  • 2018年01月03日 09:02
  • 24

部署zeppelin时遇到的spark on yarn的submit方式问题

部署zeppelin时候遇到的一个跟spark submit application模式相关的问题
  • tonylee0329
  • tonylee0329
  • 2016年07月18日 22:47
  • 1871

查看spark on yarn的日志和程序状态的方法

查看spark on yarn的日志和程序状态的方法 转载原文: http://blog.csdn.net/high2011/article/details/52132646 ...
  • nysyxxg
  • nysyxxg
  • 2017年02月09日 17:14
  • 640
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark on yarn
举报原因:
原因补充:

(最多只允许输入30个字)