本文介绍了MapReduce计算框架，详细讲解了Hadoop为何比传统技术快，核心思想是分而治之，通过Map和Reduce实现数据并行处理。WordCount案例展示了MapReduce在计数场景的应用，包括Map阶段的切分与输出，Reduce阶段的汇总计算。
今日学习内容：初识MapReduce
计算框架
是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。
MapReduce计算框架
并行计算框架
一个大的任务拆分成多个小任务，将多个小任务分发到多个节点上。每个节点同时执行计算。
Hadoop为什么比传统技术方案快
1、分布式存储
2、分布式并行计算
3、节点横向扩展
4、移动程序到数据端
5、多个数据副本
MapReduce核心思想
分而治之，先分后和：将一个大的、复杂的工作或任务，拆分成多个小的任务，并行处理，最终进行合并。
MapReduce由Map和Reduce组成
Map: 将数据进行拆分
Reduce:对数据进行汇总
WordCount计算
计算每个单词出现的
最低0.47元/天 解锁文章
999
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
