本文深入讲解了Hadoop中的YARN和MapReduce。YARN作为资源管理系统，包括Resource Manager、Node Manager和ApplicationMaster等组件，负责任务调度和容错。MapReduce是并行编程模型，通过map和reduce处理大规模数据集。文章还分享了学习MapReduce的心得体会。
课程说明
| 项 | 内容 |
|---|---|
| 课程类型 | 视屏课程 |
| 内容类型 | Hadoop |
| 课程名称 | Hadoop学习从零到一系列课程（3）：YARN和MapReduce精讲 |
| 地址 | https://edu.csdn.net/course/detail/2343 |
| 时长 | 86 |
| 费用 | 会员免费 |
课程目录和概要
YARN部分
一.YARN诞生
- Hadoop2.0由HDFS、MapReduce和YARN三个部分组成
- MapReduce运行在YARN上
- YARN是资源管理系统
二.YARN组成
- Resource Manager（全局资源管理器，整个集群只有一个，负责集群资源统一管理和调度）
- Node Manager（节点管理器，整个集群有多个，搭建在Data Node上，负责启动MR或MPI App Mstr，单节点资源的管理和使用）
- MR App Mstr（ApplicationMaster，应用程序管理器，每个应用有一个，负责应用程序的管理，数据切分，申请资源，分配内部任务，任务监控与容错）
- Container（资源（
最低0.47元/天 解锁文章
172
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
