python mapreduce函数_用python写MapReduce函数——以WordCount为例

尽管Hadoop框架是用java写的，可是Hadoop程序不限于java，能够用python、C++、ruby等。本例子中直接用python写一个MapReduce实例，而不是用Jython把python代码转化成jar文件。css

例子的目的是统计输入文件的单词的词频。html

输入：文本文件

输出：文本(每行包括单词和单词的词频，二者之间用'\t'隔开)

1. Python MapReduce 代码

使用python写MapReduce的“诀窍”是利用Hadoop流的API，经过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。java

咱们惟一须要作的是利用Python的sys.stdin读取输入数据，并把咱们的输出传送给sys.stdout。Hadoop流将会帮助咱们处理别的任何事情。python

1.1 Map阶段：mapper.pyshell

在这里，咱们假设把文件保存到hadoop-0.20.2/test/code/mapper.pysegmentfault

#!/usr/bin/env python

importsysfor line insys.stdin:

line=line.strip()

words=line.split()for word inwords:print "%s\t%s" % (word, 1)

文件从STDIN读取文件。把单词切开，并把单词和词频输出STDOUT。Map脚本不会计算单词的总数，而是输出 1。在咱们的例子中，咱们让随后的Reduce阶段作统计工做。ruby

为了是脚本可执行，增长mapper.py的可执行权限app

chmod +x hadoop-0.20.2/test/code/mapper.py

1.2 Reduce阶段：reducer.py框架

在这里，咱们假设把文件保存到hadoop-0.20.2/test/code/reducer.py分布式

#!/usr/bin/env python

from operator importitemgetterimportsys

current_word=None

current_count=0

word=Nonefor line insys.stdin:

line=line.strip()

word