MapperReduce实现两数据源差集

最新推荐文章于 2024-08-24 22:01:16 发布

nk妹妹

最新推荐文章于 2024-08-24 22:01:16 发布

阅读量166

点赞数 3

分类专栏： Hadoop 文章标签： java ide hadoop

本文链接：https://blog.csdn.net/weixin_44563460/article/details/135998290

版权

Hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文介绍了使用Python编写的mapper.py和reduce.py脚本，配合HadoopStreaming在Hadoop环境中进行文本数据处理，涉及了Input/Output格式、MapReduce任务配置和文件管理。

摘要由CSDN通过智能技术生成

# mapper.py
import sys
import os
import io
sys.stdin = io.TextIOWrapper(sys.stdin.buffer,encoding='utf-8', errors='ignore')
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8', errors='ignore')
for line in sys.stdin:
    input_file = os.getenv('map_input_file')
    line = line.strip()
    words = line.split()
    for word in words:
        print("%s\t%s" % (word, input_file))

# reduce.py
import sys
A = []
for line in sys.stdin:
    words = line.strip()
    word, file = words.split("\t")
    try:
        if file == "afs://baihua.afs.baidu.com:9902/user/hlbrd/wangyan81/wuzhichao01/cat_test/A.txt":
            current_word = word
        else:
            if current_word!=word and current_word!=None:
                print(current_word)
                current_word = None
    except ValueError:
        continue

sh文件

#/home/work/.hmpclient/bin/hadoop dfs -D hadoop.job.ugi=hlbrd,n3ZAM6Gl -D fs.default.name=[] -rmr []
/home/work/.hmpclient/bin/hadoop dfs -D hadoop.job.ugi=[] -D fs.default.name=[] -put A.txt []


HD_INPUT1=[]
HD_INPUT2=[]
HD_OUTPUT=[]

#执行rmr相关操作一定要小心
#/home/work/.hmpclient/bin/hadoop dfs -D hadoop.job.ugi=hlbrd,n3ZAM6Gl -D fs.default.name=[] -rmr ${HD_OUTPUT}

/home/work/.hmpclient/bin/hadoop streaming \
-D hadoop.job.ugi=hlbrd,n3ZAM6Gl \
-D fs.default.name=[] \
-D mapred.job.name="search_production_other_page_wenku_green_street" \
-D mapred.job.queue.name=defaultqueue \
-D mapred.job.tracker=[] \
-D stream.num.map.output.key.fields=1 \
-D num.key.fields.for.partition=1 \
-D mapred.job.priority=HIGH \
-D mapred.job.map.capacity=100 \
-D mapred.job.reduce.capacity=100 \
-D stream.memory.limit=10000 \
-D mapred.map.tasks=500 \
-D mapred.reduce.tasks=500 \
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \
-inputformat org.apache.hadoop.mapred.TextInputFormat \
-outputformat org.apache.hadoop.mapred.TextOutputFormat \
-input ${HD_INPUT1} \
-input ${HD_INPUT2} \
-output ${HD_OUTPUT} \
-file mapper.py \
-mapper "python3 mapper.py" \
-file reduce.py \
-reducer "python3 reduce.py" \