hadoop streaming reduce端join的python两种实现方式

最新推荐文章于 2020-06-15 18:33:11 发布
最新推荐文章于 2020-06-15 18:33:11 发布
阅读量1.2k 收藏 4
点赞数 1
分类专栏： Hadoop 文章标签： reduce join
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang63515074/article/details/80451420
版权

实现student和course数据表的join操作,以学生编号（sno）为连接字段

  • 测试数据

    • student.txt文件
    
#以一个空格分隔


#学生编号   姓名


#sno    sname

01 lily
02 tom
03 jack
04 rose

    • course.txt文件

      
#以一个空格分隔


#学生编号    课程名  课程成绩


#sno cname grade 

01 English 80
01 Math 90
02 English 82
02 Math 95

    • 最终reduce端连接结果

    sno  sname   cname   grade
01   lily    English   80
01   lily    Math      90
02   tom     English   82
02   tom     Math      95

  • 思路1

    按照不同的文件输出时对数据添加标记,然后通过配置map阶段的排序字段，保证学生信息出现在课程成绩信息的最上面，reduce中，发现是学生信息时，对后面接收的课程信息进行join并输出。步骤如下：

    1：map端有多个输入文件，以os.environ[‘map_input_file’]获取输入的文件信息，如果是student.txt文件的输入，则在输出中增加一个’0’,是course.txt的输入，在输出中增加一个’1’.

    2： 以sno为key进行partation,确保将同一个学生的信息和课程信息分配到同一个reduce中。同时以”sno,标识” 作为map阶段输出的排序依据（以\t分隔的前两列）,确保在reduce中同一个学生的学生信息在课程信息的上面（sno,0在所有sno,1的行前面）。

    3： 在reduce中，遇到0标记的行保存sno和sname信息，遇到1标记的行将sno和sname和当前行的课程信息一起输出。

    • 示例代码

      mapper和reducer代码

          #! /usr/bin/env python
    # coding:utf-8
    import os
    import sys

    def read_input(file,sepr=' '):
        for line in file:
            line = line.split(sepr)
            yield line

    def mapper():
        filepath = os.environ['map_input_file']
        filename = os.path.split(filepath)[1]
        lines = read_input(sys.stdin)
        for data in lines:
            if data[0].strip() == "":
                continue

            if "student.txt" == filename:
                if len(data) != 2:
                    continue
                else:
                    print "%s\t%s\t%s" % (data[0],"0",data[1].strip())
            else:
                if len(data) != 4:
                    continue
                else:
                    print "%s\t%s\t%s\t%s" %(data[0],"1",data[2].strip(),data[3].strip())

    def reducer():
        sno = None
        sname = None

        line = read_input(sys.stdin,'\t')
        for data in line:
            if (len(data) !=3 and len(data) !=4 ) or data[0].split() == "":
                continue
            if data[0] != sno:
                sno = data[0]
                if data[1] == "0":
                    sname = data[2].strip('\n')
            else:
                cname = data[2]
                cnum = data[3].strip('\n')
                print "%s\t%s\t%s\t%s" % (sno,sname,cname,cnum)



    if __name__ == "__main__":
        d = {"mapper":mapper,"reducer":reducer}
        if sys.argv[1] in d:
            d[sys.argv[1]]()

      work.bash

      
#! /bin/bash


#定义map和reduce的目录

export WORK_PATH=/var/tmp/reduce_join

#执行stream的jar包地址

stream=$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.5.jar

#数据输入目录

input=/lcy/reduce_join/input

#输出结果目录

output=/lcy/reduce_join/output


#删除mr输出目录

if $HADOOP_HOME/bin/hdfs dfs -test -d $output
then
    $HADOOP_HOME/bin/hdfs dfs -rm -r $output
fi


#执行mapreduce程序

$HADOOP_HOME/bin/hadoop jar $stream \
-D mapreduce.job.reduces=2 \        #设置reduce个数
-D num.key.fields.for.partition=1   \   #设置第一个字段为分区字段（默认使用\t作为map输出分隔符）
-D stream.num.map.output.key.fields=2 \  #设置map的输出以前两个字段作为排序依据，这个配置很重要，否则reduce的输入格式不正确
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \  #和partition参数一起使用
-input $input/* \
-output $output \
-mapper "python mr.py mapper" \
-reducer "python mr.py reducer" \
-file $WORK_PATH/mr.py

  • 思路2

    在reduce中，将学生信息和课程成绩信息保存到内存中，等遍历完一个学生后，对两个数据进行join操作。这种方式可以让学生信息在课程信息的后面（因为经过partation和shuffle后，同一个sno的学生信息和课程成绩信息会是连续的，要么学生信息在上面，要么学生信息在下面）步骤如下：

    1：同思路1的第一步

    2：以sno为key进行partation,确保将同一个学生的信息和课程信息分配到同一个reduce中。其中map端的排序可以不用设置了。

    3：reduce中，遇到0标记的行保存sno和sname信息，遇到1标记的行，将cname和grade组成list并追加到arr中。遇到新的sno时遍历arr,并和sno,sname一起输出。

    • 测试代码

    mapper和reducer

    
#! /usr/bin/env python


# coding:utf-8

import os
import sys

def read_input(file,sepr=' '):
    for line in file:
        line = line.split(sepr)
        yield line

def mapper():
    filepath = os.environ['map_input_file']
    filename = os.path.split(filepath)[1]
    lines = read_input(sys.stdin)
    for data in lines:
        if data[0].strip() == "":
            continue

        if "student.txt" == filename:
            if len(data) != 2:
                continue
            else:
                print "%s\t%s\t%s" % (data[0],"0",data[1].strip())
        else:
            if len(data) != 3:
                continue
            else:
                print "%s\t%s\t%s\t%s" %(data[0],"1",data[1].strip(),data[2].strip())

def reducer():
    sno = None
    sname = None
    tpl = []
    line = read_input(sys.stdin,'\t')
    for data in line:
        if (len(data) !=3 and len(data) !=4 ) or data[0].split() == "":
            continue

        if data[0] != sno:
            #遇到新的sno时，进行连接输出
            if sno != None and len(tpl) > 0:
                for row in tpl:
                    print '%s\t%s\t%s\t%s' % (sno,sname,row[0],row[1])
                tpl = []   #清空list，否则会变成笛卡尔积

            sno = data[0]
            if data[1] == "0":
                sname = data[2].strip('\n')
            else:
                tpl.append([data[2].strip(),data[3].strip()])
        else:
            if data[1] == "0":
                sname = data[2].strip('\n')
            else:
                tpl.append([data[2].strip(),data[3].strip()])

    if sno != None and len(tpl) > 0:
        for row in tpl:
            print '%s\t%s\t%s\t%s' % (sno,sname,row[0],row[1])



if __name__ == "__main__":
    d = {"mapper":mapper,"reducer":reducer}
    if sys.argv[1] in d:
        d[sys.argv[1]]()

    work.bash

    
#! /bin/bash


#定义map和reduce的目录

export WORK_PATH=/var/tmp/reduce_join2

#执行stream的jar包地址

stream=$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.5.jar

#数据输入目录

input=/lcy/reduce_join2/input

#输出结果目录

output=/lcy/reduce_join2/output


#删除mr输出目录

if $HADOOP_HOME/bin/hdfs dfs -test -d $output
then
    $HADOOP_HOME/bin/hdfs dfs -rm -r $output
fi


#执行mapreduce程序

$HADOOP_HOME/bin/hadoop jar $stream \
-D mapreduce.job.reduces=2 \
-D num.key.fields.for.partition=1   \
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \
-input $input/* \
-output $output \
-mapper "python mr.py mapper" \
-reducer "python mr.py reducer" \
-file $WORK_PATH/mr.py
yang63515074
关注
专栏目录
hadoop一般用python还是java_hadoop Java API 比较python 下的hadoop streaming
weixin_34007963的博客
12-29 1570
java api 来运行mapreduce程序1 首先需要搭建一个hadoop集群。2 配置环境变量export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH[root@master workspace]# $HADOOP_HOME/bin/hadoop classpath/root/software/hadoop/hadoop...
Hadoop Streaming多路输出
端木胥的博客
09-23 673
上一章说到，Hadoop Streaming能使用任何编程语言编写MR程序，使MR计算框架不再拘泥于Java这一单独的语言，但是这也有一定的局限性，比如说Hadoop Streaming需要有该编程语言的标准输入输出，对多路输出不够友好。一般reduce输出的文件格式为：part-00000,part-00001…，文件个数为reduce的任务个数。 但是有时候我们需要用到多路输出的需求，比如输出...
MapReduce实现join连接
08-30
简单的在MapReduce中实现两个表的join连接简单的在MapReduce中实现两个表的join连接简单的在MapReduce中实现两个表的join连接
Hadoop streaming-Python编写map reduce任务
GitzLiu
02-02 341
本篇记录自己学习用python写mr任务 的总结 由于图片比较分散，本篇放上有道链接。 http://note.youdao.com/noteshare?id=08673fa58add61d2797a31672e3dcb45
MapReduce实现两表的Join--原理及python和java代码实现
weixin_33916256的博客
08-07 255
用Hive一句话搞定的，可是有时必需要用mapreduce 方法介绍 1. 概述 在传统数据库（如：MYSQL）中，JOIN操作是很常见且很耗时的。而在HADOOP中进行JOIN操作。相同常见且耗时，因为Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。 本文首先介绍了Hadoop上通常的JOIN实现方法。然后给出了几种针对不同输入数据集的优化方法。 2. ...
python hadoop streaming jon
wxdoop的博客
10-24 116
join 数据集 data1.txt 1 hadoop 2 hive 3 hbase 4 spark data2.txt 1 python 2 java 3 java 4 scala 预计结果 1 hadoop,python 2 hive,java 3 hbase...
hadoop streaming map端join
踏实做人,认真做事
05-29 577
测试数据 # lixiang_list.txt(小表，可以在map端加载到内存中) #立项ID 立项名称 1800 心愿券测试003 1801 fw心愿单 1802 wtest心愿券0524 1803 HW心愿单01 1804 心愿券测试006 1805 心愿券测试007 1806 心愿券测试008 # ...
Hadoop Streaming介绍与实战(附代码)
Alanyungz的博客
06-15 986
文章目录一、介绍1.1 streaming简介1.2 streaming优点1.3 streaming不足二、执行原理三、具体参数四、实践4.1 -file的应用4.2 -cacheFile的应用4.3 -cacheArchive的应用4.4 4.compression(压缩)4.5 全局排序(单个reduce)4.6 全局排序(多个reduce)4.7 共同好友 一、介绍 1.1 streaming简介 Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程
使用hadoop-streaming初体验mapreduce
DaHuangXiao的博客
05-15 2548
接下来记录一下如何使用hadoop-streaming运行一个简单的mapreducehadoop-streaminghadoop-streaming和spark-streaming不是一个意思简单的说hadooop-streaming是一个框架，可以让任何语言编写的mr程序都能在hadoop上运行，只需要遵循标准输入stdin输出stdout即可。因此我们可以用python写一个mr过程来体验一...
利用hadoop streaming分布式生成TFRecord文件
cdj0311的专栏
05-08 1004
原理：在集群上每个机器生成TFRecord文件然后推送到指定的HDFS位置，并删除源TFRecord（这步可以不用，会自动删除）。 1. map阶段 import sys, random sys.path.append("./") # 产生随机数，用以shuffle数据 # 如果输入的rcfile格式的文件，则需要删除下标0的数据 for line in sys.stdin: lin...
hadoop streaming两个数据文件实现join合并操作
TURING.DT
04-01 5354
hadoop做数据处理，大都是对集合进行操作，因此将数据文件与另一个数据文件进行join的操作需求非常常见。 下面将使用一个例子让新入门的朋友掌握编写方法: [hdfs@server1]$ more clean_item_new 100002303,3368 100002865,11991 100003592,7995 100004955,7033 100006838,12630
Python+Hadoop Streaming实现MapReduce任务
czl389的专栏
08-16 9210
Hadoop Streaming Hadoop streaming是Hadoop的一个工具， 它帮助用户创建和运行一类特殊的map/reduce作业。 这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当mapper或者reducer。例如，我们可以用Python来编写脚本：mapper.py和reducer.py。 $HADOOP_HOME/bin/hadoop jar
Hadoop之使用python实现数据集合间join操作
TURING.DT
04-13 940
hadoop之steaming介绍 hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的map-reduce程序对比来说明： 使用原生java语言实现Map-reduce程序     hadoop准备好数据后，将数据传送给java的map程序
MapReduce实现简单join（利用框架排序机制）
Yage的博客
04-30 309
有以下两个输入文件a.txt和b.txt，目的是将其按照第一列进行join #!/bin/python import sys for line in sys.stdin: ss = line.strip().split(' ') key = ss[0] value = ss[1] print "%s\t1\t%s" % (key,value) [root@ma...
hadoop mapreduce join 合并操作
qq_41371858的博客
04-26 179
a表数据： id year bb 1 2010 1999 1 2011 1998 2 2010 1997 2 2011 1996 4 2010 1995 4 2011 1994 9 2010 1993 9 2011 1992 b表数据： id a...
利用Python和Hadoop Streaming实现Map Reduce的简单案例
qq_42933123的博客
07-30 272
需求：得到每个月温度最高的两天 mapper.py #!/usr/bin/env python # -*- coding: utf-8 -*- """ ------------------------------- FileName: mapper Author: Tgw Date: 19-07-28 ------------------------------- Change Activity...
mapreduce join 例子
xiao_jun_0820的专栏
03-18 1769
原文出处：http://blog.sina.com.cn/s/blog_4a1f59bf0100l9cp.html   对于一个大数据的分析应用,join是必不可少的一项功能.现在很多构建与hadoop之上的应用,如Hive,PIG等在其内部实现了join程序,可以通过很简单的sql语句或者数据操控脚本完成相应的Join工作.那么join应该如何实现呢?今天我们就对join做一个简单的实现.我
MapReduce Join拼接数据
做一个好人
08-25 632
读取两个数据，一个数据存放用户的id,性别和年龄,一个数据存放的电影的uid，id等信息但缺少用户信息，将二者拼接起来 本次采用的是在reduce阶段拼接，也可以在map阶段拼接 1.JoinBean 今天碰到一个很尴尬的问题，read和write中的读写数据顺序必须一直，否则数据会混乱。检查了很久才发现，需要注意 package nuc.edu.ls.extend; import j...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值