map && reduce

1. Our abstraction is inspired by the map and reduce primitives present in Lisp and many other functional languages

python 中的map && reduce

map映射函数,接收一个函数f和可迭代对象a，对每个a迭代出的对象object执行a(object)

result = []

for object in a:

     result.append(f(object))

return result

a = [1,2,3,4]

b = map(lambda x:x*x, a)

print b

[1,4,9,16]

reduce 同样接收一个函数f和可迭代对象a,  从输入中整合出最后的结果

start = None

for object in a

     if not start:

          start = object

     else:

          start = f(start,object)

          start = object

a= [1,2,3,4]

b = map(lambda x:x*x, a)

print b

10

map && reduce in hadoop

map(key,value)

从输入的key，value变为输出的key，value

对文本输入来说，key为行号，value为内容，一般从value中提取关心的字段，并把要聚合的字段作为key，聚合的内容作为value输出

reduce(key,iteratable<Obejct> iterator)

相同的key的内容聚合在iterator中，可以做一些比较有意思的统计，逻辑处理了

单独比较python中的map && reduce 和 hadoop中的 map && reduce，差别并不大。

但hadoop中的map reduce 主要的升华在下面两点

1，将map的输出按照key作聚合，交给reduce处理。这个计算模型能解决很多问题

2，强大的并行分布式计算能力