MapReduce是一个软件框架，可方便的编写应用程序，以并行的方式在数千商用硬件组成的集群节点中处理数TB的数据，并且提供了可靠性和容错的能力。
MapReduce处理模型包括两个独立的步骤：
-并行Map阶段，输入数据被分割成离散块以便可以单独处理。
-shuffle阶段，每个Reduce的输入都是按照键排序的，系统执行排序的过程；
-Reduce阶段，汇总Map阶段的输出生成预期的结果。
MapReduce的基本原理
最新推荐文章于 2024-08-09 22:26:50 发布
MapReduce是一个用于大规模数据处理的软件框架，通过并行的Map和Reduce阶段在集群中处理大量数据。Map阶段将输入数据分割处理，Shuffle阶段进行排序，而Reduce阶段则汇总Map的输出。JobTracker管理TaskTracker资源，跟踪作业进度，提供容灾服务；TaskTracker执行任务并向JobTracker报告状态。然而，MapReduce存在可扩展性、可靠性和可用性问题，以及对其他编程模型支持不足的缺陷。
最低0.47元/天 解锁文章
扫一扫
1410
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
