一起说说 map-reduce

        最近在读一本关于大数据的书,书中频频出现的一个词语:‘map-reduce’,但是究竟这是个什么东东,它和大数据有什么关系,有了它我们的编程又会有怎么样的便利?

        带着这么多的疑问,我们一起来念叨念叨 map-reduce : 借用网上对map-reduce 最简单的描述:

        We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That’s map. The more people we get, the faster it goes.

  我们要数图书馆中的所有书。你数1号书架,我数2号书架。这就是“Map”。我们人越多,数书就更快。

  Now we get together and add our individual counts. That’s reduce.

  现在我们到一起,把所有人的统计数加在一起。这就是“Reduce”。

      ❦ 人生若只如初见

         MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)"。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。

    

     ❦ 拨开云雾见天日

     简单说来,一个映射函数就是对一些独立元素组成的概念上的列表(例如,一个测试成绩的列表)的每一个元素进行指定的操作(比如前面的例子里,有人发现所有学生的成绩都被高估了一分,它可以定义一个“减一”的映射函数,用来修正这个错误。)。事实上,每个元素都是被独立操作的,而原始列表没有被更改,因为这里创建了一个新的列表来保存新的答案。这就是说,Map操作是可以高度并行的,这对高性能要求的应用以及并行计算领域的需求非常有用。

      而化简操作指的是对一个列表的元素进行适当的合并(继续看前面的例子,如果有人想知道班级的平均分该怎么做?它可以定义一个化简函数,通过让列表中的元素跟自己的相邻的元素相加的方式把列表减半,如此递归运算直到列表只剩下一个元素,然后用这个元素除以人数,就得到了平均分。)。虽然他不如映射函数那么并行,但是因为化简总是有一个简单的答案,大规模的运算相对独立,所以化简函数在高度并行环境下也很有用。

    

  ❦ 博观而约取

        事实已经证明,map-reduce具有很强大的影响力,以至于引发了一系列的括展和改进,而这些括展或改进的系统和map-reduce都具有如下共同特性:

    1.它们都建立在分布是文件系统之上

    2.都管理着大量任务,这些任务是用户编写少量的函数的实例化结果

    3.它们都提供在大任务执行过程中发生的大部分失效的处理方法,以免重启整个任务;

  ❦ 厚积而薄发

    上面说了这么多大家有没有感觉它跟工作流很像?威斯康星大学的Clustera和加利福尼亚大学欧文分校的Hyracks,它们将map-reduce从一个简单的两部处理工作流(map函数输出的结果传递给reduce函数)扩展成任何函数集的组合,并通过一个五环图来表示函数之间的工作流;

     关于map-reduce刚开始接触,如有什么不当之处,还望大家指正!


      

    

       

   

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值