Map Join介绍及案例

1. 需求

（1）需求说明

将商品信息表中的数据根据商品pid合并到订单数据表。

（2）文件

2.案例分析

（1）需求分析

通过将关联条件作为Map输出的key，将两表满足Join条件的数据并携带数据所来源的文件信息，发往同一个ReduceTask，在Reduce中进行数据的串联。关联表中有小表，适合使用Map Join方法。

（2）输入数据

（3）期望输出数据

（4） Map端表合并

• 1）DistributedCacheDriver缓存文件

// 6 加载缓存数据

job.addCacheFile(new URI(“file:///S:/centos学习笔记/input/cacheinput/pd.txt”));

// 7 Map端Join的逻辑不需要Reduce阶段，设置reduceTask数量为0

job.setNumReduceTasks(0);

• 2）读取缓存数据

3.代码实现

1. 编写DistributedCacheMapper类

package com.atguigu.mr.cache;

import java.io.BufferedReader;

import java.io.FileInputStream;

import java.io.IOException;

import java.io.InputStreamReader;

import java.net.URI;

import java.util.HashMap;

import org.apache.commons.lang.StringUtils;

import org.apache.hadoop.io.IOUtils;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

public class DistributedCacheMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

HashMap<String, String> pdMap = new HashMap<>();

@Override

protected void setup(Mapper<LongWritable, Text, Text, NullWritable>.Context context)

throws IOException, InterruptedException {

//缓存小表

URI[] cacheFiles = context.getCacheFiles();

String path = cacheFiles[0].getPath().toString();

BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(path), “UTF-8”));

String line;

while (StringUtils.isNotEmpty(line = reader.readLine())) {

//切割

String[] fields = line.split(“\t”);

pdMap.put(fields[0], fields[1]);

}

IOUtils.closeStream(reader);

}

Text k = new Text();

@Override

protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context)

throws IOException, InterruptedException {

//获取一行

String line = value.toString();

//切割

String[] fields = line.split(“\t”);

//获取pid

String pid = fields[1];

//取出pame

String pname = pdMap.get(pid);

//拼接

line = line + “\t”+ pname;

k.set(line);

//写出

context.write(k, NullWritable.get());

}

}

2.编写DistributedCacheDriver类

package com.atguigu.mr.cache;

import java.io.IOException;

import java.net.URI;

import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class DistributedCacheDriver {

public static void main(String[] args) throws IOException, URISyntaxException, ClassNotFoundException, InterruptedException {

// 0 根据自己电脑路径重新配置

args = new String[] { “S://centos学习笔记/input/cacheinput1”, “S://centos学习笔记/output/cacheoutput” };

// 1 获取job信息

Configuration configuration = new Configuration();

Job job = Job.getInstance(configuration);

// 2 设置加载jar包路径

job.setJarByClass(DistributedCacheDriver.class);

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

[外链图片转存中…(img-RLiK5yCH-1714875140111)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！