Hadoop MapReduce心得之初识

## MapReduce是什么 ##

MapReduce
是一种分布式编程模型,用来解决海量数据计算的问题。程序员使用它可以更关注业务逻辑的实现,而不需要花费大量精力在因分布式上运行而带来的问题。

MapReduce 采用分治法的思想,把一个大的任务切分为很多小的任同时执行(Map 阶段),汇总所有的执行结果(Reduce 阶段)。

用户以 kv 对的形式把数据提交给 map,map 处理完后以 kv 对的形式提交给 reduce,reduce 处理以后以 kv
对的形式输出给用户。

这里写图片描述
其实,我们通过形象的记忆能更容易明白编程模型的思想这是我在网上看到一个小例子

    一个比较形象的语言解释MapReduce:  

    We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That’s map. The more people we get, the faster it goes.

    我们要数图书馆中的所有书。你数1号书架,我数2号书架。这就是“Map”。我们人越多,数书就更快。

    Now we get together and add our individual counts. That’s reduce.

    现在我们到一起,把所有人的统计数加在一起。这就是“Reduce”。

(1)Mapper负责“分”,即把复杂的任务分解为若干个“简单的任务”来处理。“简单的任务”包含三层含义:一是数据或计算的规模相对原任务要大大缩小;二是就近计算原则,即任务会分配到存放着所需数据的节点上进行计算;三是这些小任务可以并行计算,彼此间几乎没有依赖关系。
(2)Reducer负责对map阶段的结果进行汇总。至于需要多少个Reducer,用户可以根据具体问题,通过在mapred-site.xml配置文件里设置参数mapred.reduce.tasks的值,缺省值为1。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值