![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
文章平均质量分 95
猫的树999
这个作者很懒,什么都没留下…
展开
-
Spark学习
Spark学习一、RDD1. RDD的概述1.1 什么是RDD?1.2 RDD的属性2.RDD编程API2.1 Transformation2.2 Action3. RDD的宽依赖和窄依赖3.1 RDD依赖关系的本质内幕3.2 依赖关系下的数据流视图二、Spark的广播变量和累加器1. 概述2. 广播变量为什么要将变量定义成广播变量?3. 累加器为什么要将一个变量定义为一个累加器?三、Spark运行流程1.Spark中的基本概念2. Spark的运行流程2.1 说明2.2 图解2.3 Spark运行架构特点原创 2021-04-26 22:53:08 · 122 阅读 · 0 评论 -
YARN学习
YARN学习一、YARN概述二、原MapReduce框架的不足三、新版YARN架构的优点四、YARN的重要概念1. ResourceManager2. NodeManager3. MRAppMaster4. Container5. ASM6. Scheduler五、YARN作业执行流程![在这里插入图片描述](https://img-blog.csdnimg.cn/20210426222546705.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGV原创 2021-04-26 22:26:58 · 115 阅读 · 0 评论