python版MR任务完整过程（附代码）

最新推荐文章于 2024-08-30 13:31:09 发布

九叶不睡觉

最新推荐文章于 2024-08-30 13:31:09 发布

阅读量4.9k

点赞数 1

分类专栏：大数据/云计算文章标签： MapReduce hadoop-straming python hadoop

本文链接：https://blog.csdn.net/qq_29186199/article/details/81630039

版权

本文记录了一次使用Python编写MapReduce程序的过程，包括mapper和reduce的代码实现，以及在Hadoop集群上的测试和结果验证。通过xshell上传代码到服务器，使用Hadoop Streaming进行执行，并展示了数据上传到HDFS、配置检查、结果输出的步骤，最终得出与本地测试一致的正确结果。

摘要由CSDN通过智能技术生成

将近期写的MR程序及过程记录下来。
简单介绍下环境：

hadoop2.6.4
hadoop-streaming-2.6.0.jar
线上python2，线下python3都可以用

首先放上需要的代码，定制python代码，很爽
mapper.py

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import sys
#定义一个函数读标准输入或者文件内容，读入内容按空格分割
def read(file):
    for line in file:
        #yield可以使一个函数具有迭代功能，也可以起到缓冲作用
        yield line.split()

#定义主函数，得到输入中每个词的个数，可重复出现
def main(separator&#