本文详细介绍了Hadoop Map-Reduce的逻辑过程，包括Map和Reduce步骤，以及任务提交、初始化、分配和执行的详细流程。重点阐述了Map过程中的数据处理，如内存缓冲、排序、分区和Spill文件生成，以及Reduce过程中的数据获取、合并和最终结果生成。通过理解这些，有助于深入理解Hadoop分布式文件系统的运行机制。
1、Map-Reduce的逻辑过程
假设我们需要处理一批有关天气的数据，其格式如下：
- 按照ASCII码存储，每行一条记录
- 每一行字符从0开始计数，第15个到第18个字符为年
- 第25个到第29个字符为温度，其中第25位是符号+/-
| 0067011990999991950051507+0000+ 0043011990999991950051512+0022+ 0043011990999991950051518-0011+ 0043012650999991949032412+0111+ 0043012650999991949032418+0078+ 0067011990999991937051507+0001+ 0043011990999991937051512-0002+ 0043011990999991945051518+0001+ 0043012650999991945032412+0002+ 0043012650999991945032418+0078+ |
现在需要统计出每年的最高温度。
Map-Reduce主要包括两个步骤：Map和Reduce
每一步都有key-value对作为输入和输出：
- map阶段的key-value对的格式是由输入的格式所决定的，如果是默认的TextInputFormat，则每行作为一个记录进程处理，其中key为此行的开头相对于文件的起始位置，value就是此行的字符文本
- map阶段的输出的key-value对的格式必须同reduce阶段的输入key-value对的格式相对应
对于上面的例子，在map过程，输入的key-value对如下：
| (0,0067011990999991950051507+0000+) (33,0043011990999991950051512+0022+) (66,0043011990999991950051518-0011+) (99,0043012650999991949032412+0111+) (132,0043012650999991949032418+0078+) (165,0067011990999991937051507+0001+) (198,0043011990999991937051512-0002+) (231,0043011990999991945051518+0001+) (264,0043012650999991945 |
最低0.47元/天 解锁文章
扫一扫
990
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
