- 博客(3)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
原创 Spark on yarn CapacityScheduler中的ResourceCalculator(资源计算器)
首先,是一个实际的问题(为了方便描述考虑一个简单的情况):在spark on yarn上面进行资源申请,我们申请了10个container(每个container都是1G内存,1个core),这是集群中有一个nodemanager,有10G内存,5个core。在默认配置情况下,yarn就有可能将这10个container都发送到这个nodemanager上(即使集群上还有其他nod
2016-04-08 18:02:58 3904
原创 spark1.6统一内存管理(UnifiedMemoryManager)
从spark1.6开始,引入了新的内存管理方式-----统一内存管理(UnifiedMemoryManager)。在统一内存管理下,spark一个executor中的jvm heap内存被划分成如下图:在开始介绍图中各个部分之前,我们先明确一个概念(我还是以我熟悉spark on yarn来介绍),我们在为Executor申请内存的时候,实际是JVM 的堆(heap)内存。而JVM
2016-04-07 17:08:18 2064
原创 spark on yarn 中的延迟调度(delay scheduler)
延迟调度算法思想十分简单,为了实现data locality(即该task所需数据就在其运行的机器上),会尽量将task分布到有其所需数据的机器或者jvm中去,如果机器或者jvm已被占用就进行延迟等待,直到该机器或者jvm可以运行该task或者超过等待时限则将task运行到其他机器上。这个想法基于以下几点:1.往往数据比程序要大得多,分布式上处理的数据都是GB为单位的,将程序放到数据所在机
2016-04-07 12:03:01 8880
空空如也
linux下mysql无法删除!!
2015-09-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人