使用python的map和reduce统计词频

曾经再一次面试中遇到一个问题，如何使用python的map和reduce统计ip地址的个数，并且实现。这个问题对于学过大数据的朋友应该很简单。当时只是给出了一个思想上正确的回答，但是是错误的。今天刚看到map-reduce的介绍所以在这里补充一下。

步骤：

1. 给出一个list对象，这里假设是单词（以简单字符串代替）：

l = ["a", " b", "c", "a", "a", "c"]

2. 定义map的操作：

 def f1(a):
    return {a: 1}

3. 获取map的执行结果：

ll = map(f1, l)

[{'a': 1}, {' b': 1}, {'c': 1}, {'a': 1}, {'a': 1}, {'c': 1}]

4. 定义reduce的操作：

def f2(a, b):
     b_key = b.keys()[0]
     if a.has_key(b_key):
             a[b_key] += 1
     else:
             a[b_key] = 1
     return a

5. 执行reduce操作：

reduce(f2, ll, {})

{'a': 3, ' b': 1, 'c': 2}

是不是很简单啊。有什么问题欢迎提问。