Join应用

最新推荐文章于 2022-07-31 20:29:24 发布
最新推荐文章于 2022-07-31 20:29:24 发布
阅读量309 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36593748/article/details/121960090
版权

文章目录

Join应用

1、Reduce join

数据：

order.txt

idpidamount
1001011
1002022
1003033
1004014
1005025
1006036

pd.txt

pidpname
01小米
02华为
03格力

分析:

Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。

Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录（在Map阶段已经打标志）分开，最后进行合并就ok了。

  1. 准备一个TableBean封装对象，使得能够适应以上两个表且区分两个表。

    package com.hpu.review.rj;

import org.apache.hadoop.io.Writable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class TableBean implements Writable {
    private String id;
    private String pid;
    private Integer amount;
    private String pname;
    //区分两个表
    private String flag;

    public TableBean(){}

    public String getId() {
        return id;
    }

    public void setId(String id) {
        this.id = id;
    }

    public String getPid() {
        return pid;
    }

    public void setPid(String pid) {
        this.pid = pid;
    }

    public Integer getAmount() {
        return amount;
    }

    public void setAmount(Integer amount) {
        this.amount = amount;
    }

    public String getPname() {
        return pname;
    }

    public void setPname(String pname) {
        this.pname = pname;
    }

    public String getFlag() {
        return flag;
    }

    public void setFlag(String flag) {
        this.flag = flag;
    }

    @Override
    public String toString() {
        //reduce阶段输出要用到，返回需要的字段
        return id+"\t"+pname+"\t"+amount;
    }

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeUTF(id);
        out.writeUTF(pid);
        out.writeInt(amount);
        out.writeUTF(pname);
        out.writeUTF(flag);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        this.id = in.readUTF();
        this.pid = in.readUTF();
        this.amount = in.readInt();
        this.pname = in.readUTF();
        this.flag = in.readUTF();
    }
}

  2. 写Mapper，首先继承Mapper且指定输出key为Text(pid)，Value为TableBean对象；

  3. 通过context获取切片信息，由于InputSplite抽象类中没有文件路径及其文件名信息，将其强转为FileSplit，再取相应信息。

  4. 根据不同文件分别输出KV。

    package com.hpu.review.rj;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

import java.io.IOException;

public class MyMapper extends Mapper<LongWritable, Text, Text, TableBean> {
    private Text outK;
    private TableBean outV;
    private String name;

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        outK = new Text();
        outV = new TableBean();
        //获取对应文件名称
        InputSplit inputSplit = context.getInputSplit();
        FileSplit fileSplit = (FileSplit)inputSplit;
        name = fileSplit.getPath().getName();

    }

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
		//判断是哪个文件,然后针对文件进行不同的操作
        if (name.contains("order")){//订单表的处理
            String[] orderInfo = line.split("\t");
            outV.setId(orderInfo[0]);
            outV.setPid(orderInfo[1]);
            outV.setAmount(Integer.parseInt(orderInfo[2]));
            outV.setPname("");
            outV.setFlag("order");
            outK.set(orderInfo[1]);
            context.write(outK,outV);
        } else { //商品表的处理
            String[] pdInfo = line.split("\t");
            outV.setId("");
            outV.setPid(pdInfo[0]);
            outV.setAmount(0);
            outV.setPname(pdInfo[1]);
            outV.setFlag("pd");
            outK.set(pdInfo[0]);
            context.write(outK,outV);
        }
    }
}

  5. 针对MyReducer，首先继承Reducer类；

  6. 指定Key为TableBean，Value为NullWritable；这里只把符合要求的bean对象中的pname替换即可；

  7. values迭代器中，由于pid在pd表中是唯一的，因此在迭代器中也仅有一个，其余全部都是order。这也是为什么pdBean是一个对象，而tableBeans是一个集合的原因。

    package com.hpu.review.rj;

import org.apache.commons.beanutils.BeanUtils;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.lang.reflect.InvocationTargetException;
import java.util.ArrayList;

public class MyReducer extends Reducer<Text,TableBean,TableBean, NullWritable> {

    //多个订单对应一个商品名
    private ArrayList<TableBean> tableBeans;
    private TableBean pdBean;

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        tableBeans = new ArrayList<>();
        pdBean = new TableBean();

    }

    @Override
    protected void reduce(Text key, Iterable<TableBean> values, Context context) throws IOException, InterruptedException {
        //每次都需要清空链表
        tableBeans.clear();
        for (TableBean value : values) {
            TableBean tmpBean = new TableBean();
            //判断数据来自哪个表
            if ("order".equals(value.getFlag())){
                try {
                    BeanUtils.copyProperties(tmpBean,value);
                    //将临时TableBean对象添加到集合orderBeans
                    tableBeans.add(tmpBean);
                } catch (IllegalAccessException e) {
                    e.printStackTrace();
                } catch (InvocationTargetException e) {
                    e.printStackTrace();
                }
            }else {
                try {
                    BeanUtils.copyProperties(tmpBean,value);
                    pdBean = tmpBean;
                } catch (IllegalAccessException e) {
                    e.printStackTrace();
                } catch (InvocationTargetException e) {
                    e.printStackTrace();
                }
            }
        }
        //遍历集合orderBeans,替换掉每个orderBean的pid为pname,然后写出
        for (TableBean tableBean : tableBeans) {
            tableBean.setPname(pdBean.getPname());
            context.write(tableBean,NullWritable.get());
        }
    }
}

  8. Driver没什么好说的

    package com.hpu.review.rj;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class MyDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        job.setJarByClass(MyDriver.class);
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReducer.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(TableBean.class);
        job.setOutputKeyClass(TableBean.class);
        job.setOutputValueClass(NullWritable.class);

        FileInputFormat.setInputPaths(job,new Path("E:\\Test\\input\\inputtable"));
        FileOutputFormat.setOutputPath(job,new Path("E:\\Test\\rj1"));

        job.waitForCompletion(true);
    }
}

2、map join

采用DistributedCache

​ （1）在Mapper的setup阶段，将文件读取到缓存集合中。

​ （2）在Driver驱动类中加载缓存。

//缓存普通文件到Task运行节点。
job.addCacheFile(new URI("file:///e:/cache/pd.txt"));
//如果是集群运行,需要设置HDFS路径
job.addCacheFile(new URI("hdfs://hadoop102:8020/cache/pd.txt"));

  1. 先在MapJoinDriver驱动类中添加缓存文件

    package com.hpu.review.mj;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class MyDriver {
    public static void main(String[] args) throws IOException, URISyntaxException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        job.setJarByClass(MyDriver.class);
        job.setMapperClass(MyMapper.class);
        job.setNumReduceTasks(0);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);

        //添加pd.txt
        job.addCacheFile(new URI("file:///E:/Test/input/inputtablecache/pd.txt"));

        FileInputFormat.setInputPaths(job,new Path("E:\\Test\\input\\inputtable2"));
        FileOutputFormat.setOutputPath(job,new Path("E:\\Test\\mj1"));
        job.waitForCompletion(true);
    }
}

  2. 在MapJoinMapper类中的setup方法中读取缓存文件

    package com.hpu.review.mj;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import java.util.HashMap;

public class MyMapper extends Mapper<LongWritable, Text,Text, NullWritable> {
    private HashMap<String,String> pdmap = new HashMap<String,String>();
    private Text text = new Text();

    //任务开始前将pd数据缓存进pdMap
    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        //通过缓存文件得到小表数据pd.txt
        URI[] cacheFiles = context.getCacheFiles();
        URI cacheFile = cacheFiles[0];

        //开流
        FileSystem fileSystem = FileSystem.get(context.getConfiguration());
        FSDataInputStream open = fileSystem.open(new Path(cacheFile));

        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(open, "UTF-8"));
        String line;
        while ((line = bufferedReader.readLine())!=null){
            String[] split = line.split("\t");
            pdmap.put(split[0],split[1]);
        }
        IOUtils.closeStreams(bufferedReader,open);
    }

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] line = value.toString().split("\t");
        text.set(line[0]+"\t"+pdmap.get(line[1])+"\t"+line[2]);
        context.write(text,NullWritable.get());
    }
}

3、总结

Reduce Join方式中，合并的操作是在Reduce阶段完成，Reduce端的处理压力太大，Map节点的运算负载则很低，资源利用率不高，且在Reduce阶段极易产生数据倾斜。

解决方案：Map端实现数据合并。

Map Join适用于一张表十分小、一张表很大的场景。

在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。

MelodyYN
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
MapReduce Join（一）--原理
迷茫君的博客
08-07 2025
MapReduce Join 　　对两份数据data1和data2进行关键词连接是一个很通用的问题。 　　如果数据量比较小，完全可以在内存中完成连接；如果数据量比较大，在内存进行连接操会发生内存溢出（OOM）。那么此时就可以用 MapReduce Join 来解决大数据的连接问题。 1. Reduce Join 　　map 端的主要工作：为来自不同表(文件)的key/value 打标记以区...
hadoop的mapreduce的join操作原理
jimmee的专栏
01-23 534
  1. 概述 如果我们有如下的两个文件： person.txt(字段是id， name，addressId): 1       tom     100 2       jme     101 3       kite    102 4       jack    100 5       tim     101 address.txt(字段是id，name)： 100 ...
join() 方法详解及应用场景
weixin_33939380的博客
10-20 363
总结：join方法的功能就是使异步执行的线程变成同步执行。也就是说，当调用线程实例的start方法后，这个方法会立即返回，如果在调用start方法后后需要使用一个由这个线程计算得到的值，就必须使用join方法。如果不使用join方法，就不能保证当执行到start方法后面的某条语句时，这个线程一定会执行完。而使用join方法后，直到这个线程退出，程序才会往下执行。 =================...
MapReduce 中的两表 join 实例
weixin_34062329的博客
09-29 271
1. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。2. 常见的join方法介绍假设要进行join的数据分别来自File1和File2.reduce side join是一种最简单的join方式，其主要思想如下：在map阶段，...
Java线程基础(14): join()
mingyuli的博客
07-21 1035
Java中如何让多线程按照自己指定的顺序执行？ 这个问题最简单的回答是通过Thread.join来实现，久而久之就让很多人误以为Thread.join是用来保证线程的顺序性的。 1、join()的使用场景 在很多情况下，主线程创建并启动子线程，如果子线程中要进行大量的耗时运算，主线程将可能早于子线程结束。如果主线程需要知道子线程的执行结果时，就需要等待子线程执行结束了。主线程可以sleep(xx),但这样的xx时间不好确定，因为子线程的执行时间不确定，join()方法比较合适这个场景。...
php join函数应用
10-28
除了构造SQL查询外，`join`函数还可以应用于多种场景： - **构建URL参数**：例如在拼接GET请求参数时，可以使用`&`符号作为分隔符。 - **CSV文件生成**：在导出数据到CSV文件时，可以使用逗号`,`作为字段之间的分隔...
数据库应用技术：SQLJOIN多表查询.pptx
最新发布
03-24
【数据库应用技术】中的SQL JOIN多表查询是数据库操作中常用的一种高级查询技巧，它能够有效地结合多个数据表，获取更复杂的数据信息。在数据库设计中，常常需要将多个相关表的数据整合在一起进行分析，而JOIN操作...
sql left join 命令详解
09-11
LEFT JOIN在实际应用中非常有用，比如在分析用户行为数据时，可能左表是用户信息，右表是用户的购买记录。即使某些用户尚未进行任何购买（在购买记录表中没有对应的记录），LEFT JOIN仍能确保所有用户的信息都能被...
javascript中join方法实例讲解
10-17
### 应用场景 - **生成CSV数据**：在创建逗号分隔值（CSV）文件时，`join()`方法非常有用。 - **构建URL查询参数**：组合URL查询字符串时，可以用`join('&')`将键值对连接起来。 - **HTML表格数据**：将数组数据...
Python 基础系列 14 - join() 应用
wumingxiaoyao的博客
10-09 357
今天了解一下 **join** 的用法，主要有以下两种应用： 1.**“connector str”.join(seq)** 方法用于将序列中的元素以指定的字符连接生成一个新的字符串。 2. **os.path.join()**： 将多个路径组合后返回 想了解更多 Python 基础系列文章，请参考 [Python 基础知识大纲](https://blog.csdn.net/wumingxiaoyao/article/details/109013933)
Fork/Join的应用
曾经沧海难为水的博客
12-21 1070
Fork/Join JDK1.7开始提供的在JUC包下的并行任务框架。 在多核机器上有显著的效果，主要核心工作窃取  拥有工作窃取算法，空闲线程会帮助其他有任务的线程处理任务队列 应用概述 查询某个文件夹路径下容量最大的文件 常用方法： 1. 单线程依次遍历每层目录及文件，记录并对比文件大小     写法简单，效率不高 2.多线程线程池遍历每层目录及文件    线程
JAVA多线程 join() 方法详解及应用场景
11-17 1万+
在某些情况下，主线程创建并启动了子线程，如果子线程中需要进行大量的耗时运算，主线程往往将早于子线程结束之前结束，如果主线程想等待子线程执行完毕后，获得子线程中的处理完的某个数据，就要用到join方法了，方法join（）的作用是等待线程对象呗销毁。 public class Test { public static class MyThread extends Thread { @Over
MapReduce 框架原理（三）
prefect_start的博客
11-30 1696
1、MapTask工作机制 Read阶段：MapTask通过InputFormat获得的RecordReader，从输入InputSplit中解析出一个个key/value。 Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。 Collect收集阶段：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/value分区（调用Partitio
十四、MapReduce中的Join操作
象在舞的技术专栏
08-25 1699
众所周知，MapReduce中最主要的两个过程是Map阶段和Reduce阶段，对于Join操作来说，当然也分MapJoin和ReduceJoin。本文主要介绍MapReduce中的Join操作，关注专栏《from zero to hero（Hadoop篇）》查看相关系列的文章~ 目录 一、ReduceJoin 1.1ReduceJoin工作原理 1.2ReduceJoin示例 1.2.1需求与数据 1.2.2首先定义Bean类 1.2.3编写Mapper类 1...
Hadoop3.x中MapReduce实现Reduce端join案例
QYHuiiQ
07-31 321
有两个表，一个表是员工表（eid，name，deptid），另一个表是部门表（deptid，dept），想要实现的功能是经过reduce之后最后输出的是一个将员工表中的deptid替换为部门表中的dept的一个表（eid，name，dept），连个表之间通过deptid进行join。在数据库中我们经常会遇到一些业务场景需要将多个表进行join实现某些特定的业务逻辑，在MapReduce中也可以实现join，这个join功能可以是在map端也可以是在reduce端。...
SQL语句中JOIN的用法场景分析
m0_60083200的博客
07-22 432
本文带领大家探讨下sql语句中join的用法，本文通过场景分析给大家介绍的很详细，感兴趣的朋友跟随小编一起看看吧 记录：256 写SQL最高境界：SELECT * FROM 表名。当然这是一句自嘲。探究一下SQL语句中JOIN的用法，直到经历这个场景，变得想验证一下究竟。 一、场景 把关系型数据库A中表TEST_TB01和TEST_TB02迁移到大数据平台M（MaxCompute大数据平台）。TEST_TB01单表1000万条记录，TEST_TB02单表80万条记录。 在关系型数据库中，TEST_
实验八 MapReduce实验：学习使用MapReduce进行Join操作
WistWill的博客
03-22 1349
8.1 实验目的 基于MapReduce思想，编写两文件Join操作的程序。 8.2 实验要求 能够理解MapReduce编程思想，然后会编写MapReduce版本Join程序，并能执行该程序和分析执行过程。 8.3 实验背景 8.3.1 概述 对于RDBMS中的Join操作大伙一定非常熟悉，写SQL的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用M...
sql之left join、right join、inner join的区别以及适用场景
热门推荐
w926498的博客
04-12 1万+
left join(左连接) 返回包括左表中的所有记录和右表中连接字段相等的记录Table Aid name01 abc02 abTable Bid cnt01 303 4Select A.id,A.name,B.cnt A leftjoin B on A.id=B.id结果id name cnt01 abc 302 ab null特别地，也有记录条数大于左边表的时候，...
Hadoop MapReduce Join应用 | ReduceJoin案例实操
lesileqin的博客
04-20 492
文章目录一、ReduceJoin 是什么二、ReduceJoin案例分析1、需求分析2、撸代码1）Bean对象2）Mapper3）Reducer 一、ReduceJoin 是什么 在现实世界，很多事情都是有关联的，这些关联的事务被抽象成数据的话，如果放在一个文件中是很麻烦的，所以人们一般会用多个文件进行存储，Join做的工作就是：把这些相关的文件都关联到一起。现在可能非常抽象，请耐心往下看案例分析 Map端主要工作：为来自不通表或文件的k-v键值对，打标签以区别不同来源的记录，用连接字段作为key，其余部
Java8 Stream详解：Lambda与Fork-Join应用
5. **Lambda和收集器的应用**：提到Lambda表达式是Stream的核心，它们使得函数式编程的理念更容易融入Java，同时，收集器(collectors)是将Stream转化为其他形式（如列表、集合等）的关键。 6. **总结与展望**：作者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MelodyYN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值