本文详细介绍了Hadoop MapReduce的核心思想，包括Job、MRAppMaster、Task以及Map和Reduce阶段的工作原理。同时，文章还阐述了MapReduce中Mapper、Reducer、InputFormat、RecordReader、OutputFormat等组件的作用，并分析了MapReduce的运行流程，包括数据切片、MapTask和ReduceTask的执行、数据分区和排序，最后总结了Map和Reduce阶段的关键步骤。
一、MR（MapReduce）的核心思想
1.概念
- Job(作业) : 一个MR程序称为一个Job
- MRAppMaster（MR任务的主节点）: 一个Job在运行时，会先启动一个进程，这个进程为 MRAppMaster。负责Job中执行状态的监控，容错，和RM申请资源，提交Task等
- Task(任务)： Task是一个进程！负责某项计算
- Map(Map阶段): Map是MapReduce程序运行的第一个阶段
- Map阶段的目的是将输入的数据，进行切分。将一个大数据，切分为若干小部分！切分后，每个部分称为1片(split)，每片数据会交给一个Task（进程）进行计算
- Task负责是Map阶段程序的计算，称为MapTask
订阅专栏 解锁全文
376
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
