Mapreduce实例（五）：Reduce端join

最新推荐文章于 2021-04-17 20:12:49 发布
最新推荐文章于 2021-04-17 20:12:49 发布
阅读量323 收藏 2
点赞数 1
分类专栏： 大数据 文章标签： 大数据 mapreduce hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bee_Darker/article/details/106495856
版权
本文介绍了在Hadoop MapReduce中如何实现Reduce端的Join操作。通过一个电商网站订单表与订单明细表的Join查询实例，详细阐述了Map端如何标记数据来源，以及Reduce端如何进行数据处理和Join操作。最终，通过运行MapReduce程序得到查询结果。
摘要由CSDN通过智能技术生成

系统环境

Linux Ubuntu 16.04

jdk-7u75-linux-x64

hadoop-2.6.0-cdh5.4.5

hadoop-2.6.0-eclipse-cdh5.4.5.jar

eclipse-java-juno-SR2-linux-gtk-x86_64

相关知识

在Reudce端进行Join连接是MapReduce框架进行表之间Join操作最为常见的模式。

1.Reduce端Join实现原理

（1）Map端的主要工作，为来自不同表（文件）的key/value对打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。

（2）Reduce端的主要工作，在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录（在map阶段已经打标志）分开，最后进行笛卡尔只就ok了。

2.Reduce端Join的使用场景

Reduce端连接比Map端连接更为普遍，因为在map阶段不能获取所有需要的join字段，即：同一个key对应的字段可能位于不同map中，但是Reduce端连接效率比较低，因为所有数据都必须经过Shuffle过程。

3.本实验的Reduce端Join代码执行流程：

（1）Map端读取所有的文件，并在输出的内容里加上标识，代表数据是从哪个文件里来的。

（2）在Reduce处理函数中，按照标识对数据进行处理。

（3）然后将相同的key值进行Join连接操作，求出结果并直接输出。

任务内容

现有某电商网站两张信息表，分别为订单表orders1和订单明细表order_items1，orders1表记录了用户购买商品的下单日期以及订单编号，order_items1表记录了商品id，订单id以及明细id，它们的表结构以及关系如下图所示。
在这里插入图片描述
两表的数据内容如下：

orders1表

订单ID   订单号          用户ID    下单日期
52304	111215052630	176474	2011-12-15 04:58:21
52303	111215052629	178350	2011-12-15 04:45:31
52302	111215052628	172296	2011-12-15 03:12:23
52301	111215052627	178348	2011-12-15 02:37:32
52300	111215052626	174893	2011-12-15 02:18:56
52299	111215052625	169471	2011-12-15 01:33:46
52298	111215052624	178345	2011-12-15 01:04:41
52297	111215052623	176369	2011-12-15 01:02:20
52296	111215052622	178343	2011-12-15 00:38:02
52295	111215052621	178342	2011-12-15 00:18:43
52294	111215052620	178341	2011-12-15 00:14:37
52293	111215052619	178338	2011-12-15 00:13:07

order_items1表

明细ID  订单ID   商品ID
252578	52293	1016840
252579	52293	1014040
252580	52294	1014200
252581	52294	1001012
252582	52294	1022245
252583	52294	1014724
252584	52294	1010731
252586	52295	1023399
252587	52295	1016840
252592	52296	1021134
252593	52296	1021133
252585	52295	1021840
252588	52295	1014040
252589	52296	1014040
252590	52296	1019043

要求查询在2011-12-15日该电商都有哪些用户购买了什么商品。

结果数据如下：

订单ID  用户ID   下单日期             商品ID
52293	178338	2011-12-15 00:13:07	1016840
52293	178338	2011-12-15 00:13:07	1014040
52294	178341	2011-12-15 00:14:37	1010731
52294	178341	2011-12-15 00:14:37	1014724
52294	178341	2011-12-15 00:14:37	1022245
52294	178341	2011-12-15 00:14:37	1014200
52294	178341	2011-12-15 00:14:37	1001012
52295	178342	2011-12-15 00:18:43	1023399
52295	178342	2011-12-15 00:18:43	1014040
52295	178342	2011-12-15 00:18:43	1021840
52295	178342	2011-12-15 00:18:43	1016840
52296	178343	2011-12-15 00:38:02	1021134
52296	178343	2011-12-15 00:38:02	1021133
52296	178343	2011-12-15 00:38:02	1014040
52296	178343	2011-12-15 00:38:02	1019043

任务步骤

1.切换到/apps/hadoop/sbin目录下，开启Hadoop。

cd /apps/hadoop/sbin  
./start-all.sh

2.在Linux本地新建/data/mapreduce6目录。

mkdir -p /data/mapreduce6

3.在Linux中切换到/data/mapreduce6目录下，用wget命令从http://192.168.1.100:60000/allfiles/mapreduce6/orders1和http://192.168.1.100:60000/allfiles/mapreduce6/order_items1网址上下载文本文件orders1，order_items1。

cd /data/mapreduce6
wget http://192.168.1.100:60000/allfiles/mapreduce6/orders1
wget http://192.168.1.100:60000/allfiles/mapreduce6/order_items1

然后在当前目录下用wget命令从http://192.168.1.100:60000/allfiles/mapreduce6/hadoop2lib.tar.gz网址上下载项目用到的依赖包。

wget http://192.168.1.100:60000/allfiles/mapreduce6/hadoop2lib.tar.gz

将hadoop2lib.tar.gz解压到当前目录下。

tar zxvf hadoop2lib.tar.gz

4.首先在HDFS上新建/mymapreduce6/in目录，然后将Linux本地/data/mapreduce6目录下的orders1和order_items1文件导入到HDFS的/mymapreduce6/in目录中。

hadoop fs -mkdir -p /mymapreduce6/in
hadoop fs -put /data/mapreduce6/orders1 /mymapreduce6/in
hadoop fs -put /data/mapreduce6/order_items1 /mymapreduce6/in

5.打开Eclipse，新建Java Project项目，项目名mapreduce6。
在这里插入图片描述
在mapreduce6下新建包，包名为mapreduce，在mapreduce包下新建类，类名为ReduceJoin。

在这里插入图片描述
6.添加项目所需依赖的jar包，右键单击项目，新建一个目录，用于存放项目所需的jar包。
在这里插入图片描述
将/data/mapreduce6目录下，hadoop2lib目录中的jar包，拷贝到eclipse中mapreduce6项目的hadoop2lib目录下，选中hadoop2lib目录下所有jar包，并添加到Build Path中。
在这里插入图片描述
7.编写程序代码，并描述其设计思路。

(1)Map端读取所有的文件，并在输出的内容里加上标识，代表数据是从哪个文件里来的。

(2)在reduce处理函数中，按照标识对数据进行处理。

(3)然后将相同key值进行join连接操作，求出结果并直接输出。

Mapreduce中join连接分为Map端Join与Reduce端Join，这里是一个Reduce端Join连接。程序主要包括两部分：Map部分和Reduce部分。

Map代码

public static class mymapper extends Mapper<Object, Text, Text, Text>{
   
		@Override
		protected void map(Object key, Text value, Context context)
				throws IOException, InterruptedException {
   
			String filePath = ((FileSplit)context.getInputSplit()).getPath().toString();
			if (filePath.contains("orders1")) {
   
                //获取行文本内容
				String line = value.toString();
                //对行文本内容进行切分
				String[] arr = line.split("\t");
                ///把结果写出去<
最低0.47元/天 解锁文章
Bee_Darker
关注
专栏目录
MapReduce中源码分析（map端及reduce端的过程）
wyqwilliam的博客
09-23 2060
MapReduce中的源码分析： map端的源码分析： MapReduce阶段，map中key面向文章的偏移量=上一行面向文章的偏移量+本行相对于上一行的偏移量+本单词相对于本行的偏移量。 这个key为本单词相对于文章的偏移量 这个是MapReduce中map的输出，调用context的write方法，前边对应的是key，后边对应的是value的值。 在方法被调用的时候，方法中参...
MapReduce表连接操作之Reduce端join
lavimer
01-21 6615
一：背景 Reduce端连接比Map端连接更为普遍，因为输入的数据不需要特定的结构，但是效率比较低，因为所有数据都必须经过Shuffle过程。 二：技术实现 基本思路 (1)：Map端读取所有的文件，并在输出的内容里加上标示，代表数据是从哪个文件里来的。 (2)：在reduce处理函数中，按照标识对数据进行处理。 (3)：然后根据Keyde的join来求出结果直接输出。
MapReduce案例：Reduce端join操作
阿中丶20
04-17 179
需求： 假如数据量巨大，两表的数据是以文件的形式存储在hdfs中，需要MapReduce程序来实现以下SQL查询运算 select a.id,a.date,b.name.b.category_id,b.price from t_ordet a left join t_product b on a.pid = b.id 商品表： id pname category_id price p0001 小米5 1000
MapReduce---＞Reduce端实现JOIN
HR的博客
12-01 361
MapReduce--->Reduce端实现JOIN需求代码Bean(数据类)MapReduceDriver 需求 代码 reduce端实现join即在reduce端实现俩表的拼接 Bean(数据类) import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /** * order: *
MapReduce 基础案例 之 单表连接 Reduce端 Join 实现
努力吧闫小胖的博客
09-04 570
单表连接 单表关联这个实例要求从给出的数据中寻找所关心的数据，它是对原始数据所包含信息的挖掘。典型的为找祖孙关系 本帖为Reduce端Join来实现单表连接 思想 在map端将来源于不同的数据或者是有不同用处的数据打上标签，以便在reduce端接收并连接查找关系。 场景 无论大表小表(无论文件的大小) 优点 解决的业务范围广 缺点 map端到reduce的传输量比较大(且大量为...
大数据知识专栏 - MapReduce 的 Reduce端Join
能力工场小马哥
01-21 177
大数据专栏系列文章: 通过该文章, 教会你什么是MapReduce的Reduce端Join.
MapReduce 表连接之Reduce端Join
lavimer
04-10 1156
一：背景 Reduce端连接比Map端连接更为普遍，因为输入的数据不需要特定的结构，但是效率比较低，因为所有数据都必须经过Shuffle过程。 二：技术实现 基本思路 (1)：Map端读取所有的文件，并在输出的内容里加上标示，代表数据是从哪个文件里来的。 (2)：在reduce处理函数中，按照标识对数据进行处理。 (3)：然后根据Key去jo
hadoop学习笔记（六）MapReduce常见实例三：Join操作（Map端join、Reduce端join、单表join）
Lee的学习笔记
12-20 955
目录 什么是join？ Map端Join 任务描述 流程分析 代码 执行结果 Reduce端Join 任务描述 流程分析 代码 执行结果 单表Join 任务描述 流程分析 代码 执行结果 什么是join？   Map端Join MapReduce提供了表连接操作其中包括Map端join、Reduce端join还有单表连接，现在我们要讨论的是Map端joi...
Mapreduce实例（四）：Map端join
Bee_Darker的博客
06-02 348
任务目标 1.熟练掌握Map端join的程序编写 2.准确理解Map端join的设计原理 3.了解Map端join的适用场景 4.学会编写Map端join的程序代码解决实际问题
Mapreduce实例（六）：单表join
Bee_Darker的博客
06-02 407
任务目标 1.准确理解MapReduce单表连接的设计原理 2.熟练掌握MapReduce单表连接程序的编写 3.了解单表连接的运用场景 4.学会编写MapReduce单表连接程序代码解决问题
MapReduce实战攻略：如何打造高效数据处理流程
MapReduce是一种编程模型，用于处理大规模数据集的并行运算。它在大数据处理领域扮演着重要角色，通过简化分布式计算，使开发者能够在不了解底层细节的情况下轻松地构建可扩展的分布式应用。MapReduce将复杂的、全局...
MapReduce中的join算法-reduce端join
欲望以提升热忱 毅力以磨平高山
05-10 4946
在海量数据的环境下，不可避免的会碰到join需求， 例如在数据分析时需要连接从不同的数据源中获取到数据。 假设有两个数据集：气象站数据库和天气记录数据库，并考虑如何合二为一。 一个典型的查询是：输出气象站的历史信息，同时各行记录也包含气象站的元数据信息。 气象站和天气记录的示例数据分别如下所示: Station ID            Station Name 011
mapreduce实例-Join连接 (reduce Side Join)
897371388
09-05 107
public class ReduceSideJoin extends Configured implements Tool { public static class UserJoinMapper extends Mapper&lt;Object, Text, Text, Text&gt; { private Text outkey = new Text();...
离线计算系统之MapReduce实践
lixinkuan的博客
08-03 795
目录 1.Mapreduce中的排序初步 1.1 需求 1.2分析 1.3实现 2. Mapreduce中的分区Partitioner 2.1 需求 2.2 分析 2.3 实现 3. mapreduce数据压缩 3.1 概述 3.2 MR支持的压缩编码 ​ 3.3 Reducer输出压缩 3.4 Mapper输出压缩 3.5 压缩文件的读取 4.更多Ma...
大数据-[案例]Reduce端实现JOIN
逍遥云恋
12-23 351
7. [案例] Reduce 端实现 JOIN 7.1. 需求 假如数据量巨大，两表的数据是以文件的形式存储在 HDFS 中, 需要用 MapReduce 程 序来实现以下 SQL 查询运算 select a.id,a.date,b.name,b.category_id,b.price from t_order a left join t_product b on a.pid = b.id 订单...
MapReduce程序中在reduce端进行join
Running-小猛的博客
03-25 294
合并两个表的数据： 代码如下所示： RJoin 类实现map函数和reduce函数，并进行数据的整合处理 package com.jym.hadoop.mr.rjoin; import java.io.IOException; import java.lang.reflect.InvocationTargetException; import java....
MapReduce案例之ReduceJoin
cold_wolfie的专栏
05-11 334
MapReduce案例之ReduceJoin 需求 ​ 如下两个文件 order.txt是用户的订单信息 order001,u001 order002,u001 order003,u005 order004,u002 order005,u003 order006,u004 user.txt是基本用户信息 u001,senge,18,angelababy u002,laozhao,48,ruhua u003,xiaoxu,16,chunge u004,laoyang,28,zengge u005,n
mapreduce端的优化
m0_46504700的博客
01-02 248
MapReduce优化 （1）合并小文件：在执行mr任务前在HDFS上用appendToFile命令将小文件进行合并，大量的小文件会产生大量的map任务，增大map任务装载次数，而任务的装载比较耗时，从而导致mr运行较慢。 //将1.txt和2.txt合并，并上传到hdfs上 hadoop fs -appendToFile 1.txt 2.txt hdfs://cdh5/tmp/lxw1234.txt （2）采用CombineTextInputFormat来作为输入，它可将多个小文件从逻辑上规划到一个切片
MapReduce高级特性：应用实例与排序Join解析
"这篇文档是关于MapReduce的高级特性，主要涵盖了各种应用场景的实例，包括内存排序、自定义数据类型、二次排序、内存排序找出每组最大值以及两个表的简单JOIN操作。文档通过实际案例深入浅出地解析了MR的重要知识点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值