Yarn
DPnice
这个作者很懒,什么都没留下…
展开
-
Spark on Yarn 解惑
一:Hadoop Yarn解析 1,Yarn是Hadoop推出整个分布式(大数据)集群的资源管理器,负责资源的管理和分配,基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架,例如Spark、MapReduce、Storm等; 2,Yarn基本工作流程如下图所示: 注意:Container要向NodeManager汇报资源...转载 2018-08-21 11:29:24 · 246 阅读 · 0 评论 -
Spark:内存管理模型及架构
上图引入了很多术语:"Executor","Task","Cache","Worker Node"等等,当我开始学习Spark的时候,这几乎是整个互联网上唯一一张关于Spark架构的图了,我个人觉得该图缺失了一些很重要的概念或者是描述的 任何Spark的进程都是一个JVM进程,既然是一个JVM进程,那么就可以配置它的堆大小(-Xmx和-Xms),但是进程怎么使用堆内存和为什么需要它呢?...转载 2018-08-30 14:37:57 · 498 阅读 · 0 评论