- 博客(3)
- 收藏
- 关注
RSS订阅
原创 Yarn结构概览
Yarn结概览本文内容总结自《Hadoop技术内幕—深入解析Yarn架构设计与实现原理》一.关于Yarn1.1 Yarn是什么？YARN 是 Hadoop 2.0 中的资源管理系统，它是一个通用的资源管理模块，可为各类应用程序进行资源管理和调度。YARN 不仅限于 MapReduce 一种框架使用，也可以供其他框 架使用，比如Spark、Storm等。 具有很好的通用性。1.2 Yarn...
2019-03-10 11:19:25
416
原创 Spark内存管理(二)——统一(动态)内存管理模型
一 .简介spark从1.6开始引入了动态内存管理模式，即执行内存和存储内存之间可以互相抢占。所以从spark 1.6以后，spark提供两种内存分配模式，即：静态内存管理和统一内存管理（有的地方也称动态内存管理）。在上一篇文章末尾，我们陈述了传统spark静态内存管理模式的局限性：（1） 没有适用于所有应用的默认配置，通常需要开发人员针对不同的应用进行不同的参数配置。比如根据任务的执行逻辑...
2019-02-17 23:29:55
259
原创 Spark内存管理(一)——静态内存管理模型
Spark静态内存管理模型一 .简介spark从1.6开始引入了动态内存管理模式，即执行内存和存储内存之间可以互相抢占。所以从spark 1.6以后，spark提供两种内存分配模式，即：静态内存管理和动态内存管理。该篇文章主要针对spark静态内存管理进行了分析与说明二 . 模型总览从下图可以清晰的看出每个executor的内存分配:上图代表了spark中的每个worker(exec...
2019-02-14 19:36:43
532
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人