用python写MapReduce函数——以WordCount为例

最新推荐文章于 2024-05-04 22:53:57 发布

代码输入中...

最新推荐文章于 2024-05-04 22:53:57 发布

阅读量307

点赞数

文章标签： hadoop 大数据分布式 python 开发语言

本文链接：https://blog.csdn.net/m0_59485658/article/details/128188256

版权

该博客通过Python演示了如何使用Hadoop流API编写MapReduce程序，以WordCount为例，详细解释了mapper.py中如何读取输入并输出单词及其频率，以及reducer.py如何统计单词总数。通过本地测试和Hadoop测试进行验证。

摘要由CSDN通过智能技术生成

本例中直接用python写一个MapReduce实例：统计输入文件的单词的词频

使用python写MapReduce的“诀窍”是利用Hadoop流的API，通过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。

我们唯一需要做的是利用Python的sys.stdin读取输入数据，并把我们的输出传送给sys.stdout。Hadoop流将会帮助我们处理别的任何事情。

1、map函数（mapper.py）

#!/usr/bin/env python
import sys
for line in sys.stdin:
    line = line.strip()
    words = line.split()
    for word in words:
        print "%s\t%s" % (word, 1)

文件从STDIN读取文件。把单词切开，并把单词和词频输出STDOUT。Map脚本不会计算单词的总数，而是输出<word> 1。在我们的例子中，我们让随后的Reduce阶段做统计工作。

2、reduce函数（reducer.py）

#!/usr/bin/env python
from operator import itemgetter
import sys

current_word = None
current_count = 0
word = None

for line in sys.stdin:
    line = line.strip()
    word, count