MapReduce实战之 MapReduce中多表合并案例

最新推荐文章于 2022-10-13 14:11:38 发布
最新推荐文章于 2022-10-13 14:11:38 发布
阅读量882 收藏 6
点赞数
分类专栏： Hadoop 文章标签： MapReduce中多表合并案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Faded1573606285/article/details/100674683
版权

 MapReduce中多表合并案例

1）需求：

订单数据表t_order：

id

pid

amount

1001

01

1

1002

02

2

1003

03

3

1001    01    1
1002    02    2
1003    03    3
1004    01    4
1005    02    5
1006    03    6

商品信息表t_product

pid

pname

01

小米

02

华为

03

格力

01    小米
02    华为
03    格力

将商品信息表中数据根据商品pid合并到订单数据表中。

最终数据形式：

id

pname

amount

1001

小米

1

1004

小米

4

1002

华为

2

1005

华为

5

1003

格力

3

1006

格力

6

 

 需求1：Reduce端表合并（数据倾斜）

通过将关联条件作为map输出的key，将两表满足join条件的数据并携带数据所来源的文件信息，发往同一个reduce task，在reduce中进行数据的串联。

1）创建商品和订合并后的bean类

package com.atguigu.mapreduce.table;

import java.io.DataInput;

import java.io.DataOutput;

import java.io.IOException;

import org.apache.hadoop.io.Writable;

 

public class TableBean implements Writable {

       private String order_id; // 订单id

       private String p_id; // 产品id

       private int amount; // 产品数量

       private String pname; // 产品名称

       private String flag;// 表的标记

 

       public TableBean() {

              super();

       }

 

       public TableBean(String order_id, String p_id, int amount, String pname, String flag) {

              super();

              this.order_id = order_id;

              this.p_id = p_id;

              this.amount = amount;

              this.pname = pname;

              this.flag = flag;

       }

 

       public String getFlag() {

              return flag;

       }

 

       public void setFlag(String flag) {

              this.flag = flag;

       }

 

       public String getOrder_id() {

              return order_id;

       }

 

       public void setOrder_id(String order_id) {

              this.order_id = order_id;

       }

 

       public String getP_id() {

              return p_id;

       }

 

       public void setP_id(String p_id) {

              this.p_id = p_id;

       }

 

       public int getAmount() {

              return amount;

       }

 

       public void setAmount(int amount) {

              this.amount = amount;

       }

 

       public String getPname() {

              return pname;

       }

 

       public void setPname(String pname) {

              this.pname = pname;

       }

 

       @Override

       public void write(DataOutput out) throws IOException {

              out.writeUTF(order_id);

              out.writeUTF(p_id);

              out.writeInt(amount);

              out.writeUTF(pname);

              out.writeUTF(flag);

       }

 

       @Override

       public void readFields(DataInput in) throws IOException {

              this.order_id = in.readUTF();

              this.p_id = in.readUTF();

              this.amount = in.readInt();

              this.pname = in.readUTF();

              this.flag = in.readUTF();

       }

 

       @Override

       public String toString() {

              return order_id + "\t" + pname + "\t" + amount + "\t" ;

       }

}

2）编写TableMapper程序

package com.atguigu.mapreduce.table;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.lib.input.FileSplit;

 

public class TableMapper extends Mapper<LongWritable, Text, Text, TableBean>{

       TableBean bean = new TableBean();

       Text k = new Text();

      

       @Override

       protected void map(LongWritable key, Text value, Context context)

                     throws IOException, InterruptedException {

             

              // 1 获取输入文件类型

              FileSplit split = (FileSplit) context.getInputSplit();

              String name = split.getPath().getName();

             

              // 2 获取输入数据

              String line = value.toString();

             

              // 3 不同文件分别处理

              if (name.startsWith("order")) {// 订单表处理

                     // 3.1 切割

                     String[] fields = line.split("\t");

                    

                     // 3.2 封装bean对象

                     bean.setOrder_id(fields[0]);

                     bean.setP_id(fields[1]);

                     bean.setAmount(Integer.parseInt(fields[2]));

                     bean.setPname("");

                     bean.setFlag("0");

                    

                     k.set(fields[1]);

              }else {// 产品表处理

                     // 3.3 切割

                     String[] fields = line.split("\t");

                    

                     // 3.4 封装bean对象

                     bean.setP_id(fields[0]);

                     bean.setPname(fields[1]);

                     bean.setFlag("1");

                     bean.setAmount(0);

                     bean.setOrder_id("");

                    

                     k.set(fields[0]);

              }

              // 4 写出

              context.write(k, bean);

       }

}

3）编写TableReducer程序

package com.atguigu.mapreduce.table;

import java.io.IOException;

import java.util.ArrayList;

import org.apache.commons.beanutils.BeanUtils;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

 

public class TableReducer extends Reducer<Text, TableBean, TableBean, NullWritable> {

 

       @Override

       protected void reduce(Text key, Iterable<TableBean> values, Context context)

                     throws IOException, InterruptedException {

 

              // 1准备存储订单的集合

              ArrayList<TableBean> orderBeans = new ArrayList<>();

              // 2 准备bean对象

              TableBean pdBean = new TableBean();

 

              for (TableBean bean : values) {

 

                     if ("0".equals(bean.getFlag())) {// 订单表

                            // 拷贝传递过来的每条订单数据到集合中

                            TableBean orderBean = new TableBean();

                            try {

                                   BeanUtils.copyProperties(orderBean, bean);

                            } catch (Exception e) {

                                   e.printStackTrace();

                            }

 

                            orderBeans.add(orderBean);

                     } else {// 产品表

                            try {

                                   // 拷贝传递过来的产品表到内存中

                                   BeanUtils.copyProperties(pdBean, bean);

                            } catch (Exception e) {

                                   e.printStackTrace();

                            }

                     }

              }

 

              // 3 表的拼接

              for(TableBean bean:orderBeans){

                     bean.setPname (pdBean.getPname());

                    

                     // 4 数据写出去

                     context.write(bean, NullWritable.get());

              }

       }

}

4）编写TableDriver程序

package com.atguigu.mapreduce.table;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 

public class TableDriver {

 

       public static void main(String[] args) throws Exception {

              // 1 获取配置信息，或者job对象实例

              Configuration configuration = new Configuration();

              Job job = Job.getInstance(configuration);

 

              // 2 指定本程序的jar包所在的本地路径

              job.setJarByClass(TableDriver.class);

 

              // 3 指定本业务job要使用的mapper/Reducer业务类

              job.setMapperClass(TableMapper.class);

              job.setReducerClass(TableReducer.class);

 

              // 4 指定mapper输出数据的kv类型

              job.setMapOutputKeyClass(Text.class);

              job.setMapOutputValueClass(TableBean.class);

 

              // 5 指定最终输出的数据的kv类型

              job.setOutputKeyClass(TableBean.class);

              job.setOutputValueClass(NullWritable.class);

 

              // 6 指定job的输入原始文件所在目录

              FileInputFormat.setInputPaths(job, new Path(args[0]));

              FileOutputFormat.setOutputPath(job, new Path(args[1]));

 

              // 7 将job中配置的相关参数，以及job所用的java类所在的jar包， 提交给yarn去运行

              boolean result = job.waitForCompletion(true);

              System.exit(result ? 0 : 1);

       }

}

3）运行程序查看结果

1001       小米       1    

1001       小米       1    

1002       华为       2    

1002       华为       2    

1003       格力       3    

1003       格力       3    

缺点：这种方式中，合并的操作是在reduce阶段完成，reduce端的处理压力太大，map节点的运算负载则很低，资源利用率不高，且在reduce阶段极易产生数据倾斜

解决方案： map端实现数据合并

 

需求2：Map端表合并

1）分析

适用于关联表中有小表的情形；

可以将小表分发到所有的map节点，这样，map节点就可以在本地对自己所读到的大表数据进行合并并输出最终结果，可以大大提高合并操作的并发度，加快处理速度。

 

2）实操案例

（1）先在驱动模块中添加缓存文件

package test;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 

public class DistributedCacheDriver {

 

       public static void main(String[] args) throws Exception {

              // 1 获取job信息

              Configuration configuration = new Configuration();

              Job job = Job.getInstance(configuration);

 

              // 2 设置加载jar包路径

              job.setJarByClass(DistributedCacheDriver.class);

 

              // 3 关联map

              job.setMapperClass(DistributedCacheMapper.class);

             

              // 4 设置最终输出数据类型

              job.setOutputKeyClass(Text.class);

              job.setOutputValueClass(NullWritable.class);

 

              // 5 设置输入输出路径

              FileInputFormat.setInputPaths(job, new Path(args[0]));

              FileOutputFormat.setOutputPath(job, new Path(args[1]));

 

              // 6 加载缓存数据

              job.addCacheFile(new URI("file:///e:/inputcache/pd.txt"));

             

              // 7 map端join的逻辑不需要reduce阶段，设置reducetask数量为0

              job.setNumReduceTasks(0);

 

              // 8 提交

              boolean result = job.waitForCompletion(true);

              System.exit(result ? 0 : 1);

       }

}

（2）读取缓存的文件数据

package test;

import java.io.BufferedReader;

import java.io.FileInputStream;

import java.io.IOException;

import java.io.InputStreamReader;

import java.util.HashMap;

import java.util.Map;

import org.apache.commons.lang.StringUtils;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

 

public class DistributedCacheMapper extends Mapper<LongWritable, Text, Text, NullWritable>{

 

       Map<String, String> pdMap = new HashMap<>();

      

       @Override

       protected void setup(Mapper<LongWritable, Text, Text, NullWritable>.Context context)

                     throws IOException, InterruptedException {

 

              // 1 获取缓存的文件

              BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream("pd.txt"),"UTF-8"));

             

              String line;

              while(StringUtils.isNotEmpty(line = reader.readLine())){

                     // 2 切割

                     String[] fields = line.split("\t");

                    

                     // 3 缓存数据到集合

                     pdMap.put(fields[0], fields[1]);

              }

             

              // 4 关流

              reader.close();

       }

      

       Text k = new Text();

      

       @Override

       protected void map(LongWritable key, Text value, Context context)

                     throws IOException, InterruptedException {

              // 1 获取一行

              String line = value.toString();

             

              // 2 截取

              String[] fields = line.split("\t");

             

              // 3 获取产品id

              String pId = fields[1];

             

              // 4 获取商品名称

              String pdName = pdMap.get(pId);

             

              // 5 拼接

              k.set(line + "\t"+ pdName);

             

              // 6 写出

              context.write(k, NullWritable.get());

       }

}

 

不稳定记忆
关注
专栏目录
MapReduce实战练习二：两张表的合并汇总
BestbpF的博客
09-21 2545
需求： 订单数据表t_order： id date pid amount 1001 20150710 P0001 2 1002 20150710 P0001 3 1002 20150710 P0002 3
MapReduce中多表合并案例&使用Distributedcache-09
kxj19980524的博客
04-16 312
源数据 需求,把两个表合一块,把pid拿名字替换 流程分析 首先是两种数据格式不一样的数据,但是有相同的pid,就可以根据它为key分区,然后在reduce写逻辑代码进行合并. bean对象 package com.buba.mapreduce.table; import org.apache.hadoop.io.Writable; import java.io.Data...
MapReduce Combiner合并及案例实操
mengxianglong123的博客
08-06 451
一、Combiner合并 Combiner是MR程序中Mapper和Reducer之外的一种组件。 Combiner组件的父类就是Reducer。 Combiner和Reducer的区别在于运行的位置Combiner是在每一个MapTask所在的节点运行;Reducer是接收全局所有Mapper的输出结果; Combiner的意义就是对每一个MapTask的输出进行局部汇总， 以减小网络传输量。 Combiner能够应用的前提是不能影响最终的业务逻辑，而且，Combiner的输出kv应该
Hadoop学习：MapReduce实现两张表合并
CSDN 精品推荐
03-19 981
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、思想二、代码1.Bean类2.Map类3.Reduce类4.Driver类 前言 一、思想 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、代码 1.Bean类 import org.apache.hadoop.io.Writable; import java.io.DataInput; import java.io.DataOutput; import java.io.IO
【MapReduce】基础案例 ---- Map Join 实现数据合并（缓存表）
懂得一千零一种,赋予你失败的方法！
01-22 566
文章目录Map Join① Map Join工作原理② Map Join 案例☠ 需求分析☠ 代码实现Mapper阶段Driver阶段☠ 总结 Map Join ① Map Join工作原理 1．使用场景 Map Join适用于一张表十分小、一张表很大的场景。 2．优点 思考：在Reduce端处理过多的表，非常容易产生数据倾斜。怎么办？ 在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。 3．具体办法：采用Distr..
mapreduce基础实战.doc
05-23
4. **实战演练**：通过实际的案例来学习MapReduce编程，如词频统计任务、成绩统计、文件内容合并去重等。 5. **工具使用**：掌握如何使用Hadoop Streaming和Pig等工具来进行数据处理，这些工具可以帮助简化MapReduce...
MapReduce基础实战.pdf
最新发布
05-23
#### 四、MapReduce实战应用案例 - **词频统计**：通过将文本数据划分为若干块，对每块进行词频统计，再将结果合并，以得到整体文本的词频分布。 - **日志分析**：针对大规模服务器日志进行分析，通过Map阶段将日志...
mapreduce基础实战.docx
05-23
### MapReduce基础实战详解 #### 一、MapReduce概述 MapReduce是一种分布式计算模型，用于处理和生成大数据集。它是Hadoop生态系统的核心组件之一，能够有效地处理PB级别的数据。MapReduce的设计灵感来源于函数式...
第7章 MapReduce实战
uzpoob的博客
06-17 6580
第1关：年龄统计 编程要求 使用MapReduce计算班级每个学生的最好成绩，输入文件路径为/user/test/input，请将计算后的结果输出到/user/test/output/目录下。 测试说明 输入文件在你每次点击评测的时候，平台会为你创建，无需你自己创建，只需要启动HDFS，编写java代码即可。 输入文件的数据格式如下： 张三 12 李四 13 张三 89 李四 92 ... 依照如上格式你应该输出： 李四 92 具体本关的预期输出请查看右侧测试集。 因为大数据实训消耗资源
MapReduce 中多表合并案例
Da.的博客
05-27 2582
数据准备 order.txt 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 pd.txt 01 小米 02 华为 03 格力 将商品信息表中数据根据商品 pid 合并到订单数据表中。最终数据形式： 需求 1： Reduce 端表合并（数据倾斜） 通过...
MapReduce中多表合并案例【Reduce端表合并（数据倾斜）】
now
11-30 566
1）需求： 订单数据表t_order： id pid amount 1001 01 1 1002 02 2 1003 03 3 商品信息表t_product pid pname 01
2.10 MapReduce文件合并
炫云云
03-28 2046
感谢你的阅读，专栏文章持续更新，希望感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！ 带你全面理解hadoop大数据。 包含： MRJOB 文件合并 需求描述 mrjob 实现 深耕于机器学习算法、深度学习、数据分析等领域，希望我这微不足道的知识能帮到您。
MapReduce中多表合并案例Reduce端表合并引发数据倾斜
张不帅
11-12 653
需求: 订单数据表t_order 商品信息表t_product 将商品信息表中数据根据商品的id合并到订单数据表中 思路: map中处理 获取输入文件的类型 获取输入数据 不同文件分别处理 封装bean对象输出 mapTask进行排序分区 根据产品的id号进行排序 reduceTask 缓存订单数据集合和产品表,然后进行合并 根据表信息创建bean对象 package com.zy...
mapreduce合并去重
牛逸凡的博客
07-19 1986
一、问题描述 对输入的多个文件进行合并，并剔除其中重复的内容，去重后的内容输出到一个文件中。 file1.txt中的内容: 20150101 x 20150102 y 20150103 x 20150104 y file2.txt中的内容: 20150105 z 20150106 x 20150101 y 20150102...
MapReduce实战-多表案例：Map端表合并(Distributedcache)
Movle
05-07 288
1.分析     适用于关联表中有小表的情形；     可以将小表分发到所有的map节点，这样，map节点就可以在本地对自己所读到的大表数据进行合并并输出最终结果，可以大大提高合并操作的并发度，加快处理速度。 2.实战案例： (1)先在驱动模块中添加缓存文件 DistributedCacheDriver.java pa...
MapReduce作业3
灰哀之雪的博客
09-02 335
第一题：请简述一下shuffle-map端的流程 每个map任务都会有一个环形缓冲区存储数据。环形缓冲区的默认大小为100MB，阈值为80MB。当达到阈值时，会有一个后台线程把内容溢写到磁盘中。剩下的数据继续写入剩余20MB中。如果20MB写满后会进入阻塞状态。 在溢写前，会先根据分区器的逻辑将数据分区。每个分区在内存中会进行排序(QuickSort，默认是字典排序)。如果指定了combiner函数，那么它就在排序后的输出上运行。使得map输出更加紧凑 如果至少存在3个溢出文件时，则combiner就会在
MapReduce根据主键合并文件内容
zty19940628的博客
04-07 113
JavaBean package one; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; public class OrderBean implements WritableComp...
MapReduce编程练习2.0
xxydzyr的博客
09-16 227
MapReduce编程练习2.0 2.0新需求：不需要统计总流量，需要将所有数据按照总流量倒序排序。 问题点： 增加排序 解析： 这个第一眼看过去有点懵，因为之前都没有说到有排序这个功能，但是我们仔细查看一下初始需求的结果可以发现：key是正序排列的。 即：手机号是正序排列的，Hadoop有一个特性，就是会对key值进行排序，所以我们在遇到排序这个功能的时候可以想是否能将需要排序的字段作为key...
【Google三驾马车系列】MapReduce原理总结
Tong_jy的博客
10-13 1108
总结梳理MapReduce（Shuffle）的原理和相关问题的理解
Hadoop MapReduce实战指南
7. **实战案例**：通过具体的业务场景，展示如何使用MapReduce解决实际问题，例如网页排名、日志分析、社交网络分析等。 8. **与其他Hadoop组件集成**：如HDFS（Hadoop分布式文件系统）、Hive、Pig、HBase等，说明...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值