- 博客(3)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark on yarn CapacityScheduler中的ResourceCalculator（资源计算器）
首先，是一个实际的问题（为了方便描述考虑一个简单的情况）： 在spark on yarn上面进行资源申请，我们申请了10个container(每个container都是1G内存，1个core)，这是集群中有一个nodemanager，有10G内存，5个core。 在默认配置情况下，yarn就有可能将这10个container都发送到这个nodemanager上（即使集群上还有其他nod
2016-04-08 18:02:58
3888
原创 spark1.6统一内存管理(UnifiedMemoryManager)
从spark1.6开始，引入了新的内存管理方式-----统一内存管理(UnifiedMemoryManager)。 在统一内存管理下，spark一个executor中的jvm heap内存被划分成如下图: 在开始介绍图中各个部分之前，我们先明确一个概念（我还是以我熟悉spark on yarn来介绍），我们在为Executor申请内存的时候，实际是JVM 的堆(heap)内存。而JVM
2016-04-07 17:08:18
2049
原创 spark on yarn 中的延迟调度(delay scheduler)
延迟调度算法思想十分简单，为了实现data locality(即该task所需数据就在其运行的机器上)，会尽量将task分布到有其所需数据的机器或者jvm中去，如果机器或者jvm已被占用就进行延迟等待，直到该机器或者jvm可以运行该task或者超过等待时限则将task运行到其他机器上。 这个想法基于以下几点: 1.往往数据比程序要大得多，分布式上处理的数据都是GB为单位的，将程序放到数据所在机
2016-04-07 12:03:01
8785
linux下mysql无法删除！！
2015-09-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人