<font color=red>文章内容为原创,欢迎转载请注明出处</font>
作者: EflyPro->晦明禅师
MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。 概念“Map(映射)”和“Reduce(归纳)”,及他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。--维基百科
今天我们来看看python提供的map()和reduce()函数,可以帮助大家理解MapReduce的思想,用python代码理解还是挺直观的。
map()
map函数是把右边的输入列表元素作为左边函数的参数传入,并把函数返回值组织成对应的list结果返回
>>> def fx(x):
... return x*x
...
>>> map(fx, [1,2,3,4,5])
[1, 4, 9, 16, 25]
#实现对列表值的平方计算
reduce()
reduce函数是也是接收2个参数,左边是函数,右边是列表,把右边列表的前面两个元素作为函数参数传入并把返回值继续和列表的第3个元素进行再次函数调用,如此类推一直到全部处理完为止,下面是一个比较形象的公式。
reduce(fx, [x1, x2, x3, x4]) = fx(fx(fx(x1, x2), x3), x4)
再用一个实际例子就比较清晰了
>>> def fx(x, y):
... return x + y
...
>>> reduce(fx, [1,2,3,4,5])
15
#实现从1-5的数列求和
#上面的例子转换成一下每一步就是
# 1 fx(1,2) = 3
# 2 fx(3,3) = 6
# 3 fx(6,4) = 10
# 4 fx(10,5) = 15
由睿江云提供,想了解更多,请登陆www.eflycloud.com