MapReduce的工作原理：
map端就是计算向数据移动
map是并行的，map端结束才允许reduce，因为map的输出才是reduce的 输入，
做性别的统计：拉取男性的数据和女性的数据
MapReduce不需要太大的内存
相同的key为一组，这一组数据调用一次reduce方法
客户端首先是获得map的split清单。
切片信息
配置文件
jar包
jobtracker：
调度
对集群的资源管理
客户端的切片清单为规划
最终获得决策清单
本文介绍了MapReduce的工作原理，强调了map任务的并行性和reduce任务的依赖，以及客户端在作业过程中的角色。此外，还讨论了MapReduce在资源管理上的问题，如与Spark的资源争抢，这导致了YARN的出现。YARN作为资源管理和调度系统，解决了单点故障问题，并在HDFS之外独立运行。最后，提到了通过put和get操作在HDFS上进行文件交互。
最低0.47元/天 解锁文章
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
