Yarn
大米饭精灵
无敌的我。。咳咳
展开
-
Yarn任务调度
圈重点Spark on Yarn :仅仅是将spark作为一个客户端而已Application = diver(进程) + excutor(进程)是一个独立的进程集合diver用于运行main方法,会创建一个,new 一个sparkContext或者sparkSessionexcutor运行在一个Application 的worknode(yarn里面的container standalone里面...原创 2018-04-23 20:10:48 · 897 阅读 · 0 评论 -
Spark on YARN的重要参数
Spark属性或者去源码找Class类 SparkSubmitArguments,最全了属性名称默认含义spark.yarn.am.memory512m用于客户端模式下的YARN Application Master的内存量,格式与JVM内存字符串(例如512m,2g)相同。在集群模式下,spark.driver.memory改为使用。使用小写字母后缀,例如k,m,g,t,和p,为kibi-,me...原创 2018-04-24 13:06:47 · 4692 阅读 · 0 评论