MapReduce知识点（3）

最新推荐文章于 2021-12-25 09:50:02 发布
最新推荐文章于 2021-12-25 09:50:02 发布
阅读量160 收藏
点赞数
文章标签： mapreduce hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AnswerLinWJ/article/details/115085182
版权

Reduce端的Join

原数据：

//orders表
1001,20150710,p0001,2
1002,20150710,p0002,3

//product表
p0001,小米5,1000,2000
p0002,锤子T1,1000,3000

按照商品编号将两表连接起来，效果：

key			value
p0001		p0001,小米5,1000,2000	1001,20150710,p0001,2
p0002		p0002,锤子T1,1000,3000	1002,20150710,p0002,3

  1. mapper类

    在map中对来自不同数据文件的数据进行不同的转换

    package com.bigdata.mapreduce.reducejoin;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

import java.io.IOException;

public class j_mapper extends
        Mapper<LongWritable, Text,Text,Text> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //1. 判断数据来自哪个文件
        FileSplit filesplit = (FileSplit) context.getInputSplit();
        String name = filesplit.getPath().getName();
        //2. 转换
        if(name.equals("orders.txt")){
            Text text = new Text(value.toString().split(",")[2]);
            context.write(text,value);
        }else{
            Text text = new Text(value.toString().split(",")[0]);
            context.write(text,value);
        }
    }
}

  2. reducer类

    将数据进行拼接

    package com.bigdata.mapreduce.reducejoin;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class j_reducer extends
        Reducer<Text,Text,Text,Text> {
    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        String first = "";
        for (Text value : values){
            first = first + value + "\t";
        }
        context.write(key,new Text(first));
    }
}

  3. jobmain

    package com.bigdata.mapreduce.reducejoin;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class join_jobmain extends Configured implements Tool {
    @Override
    public int run(String[] strings) throws Exception {
        //创建job任务对象
        Job job = Job.getInstance(super.getConf(), "join");
        //配置job任务
        //配置输入类和路径
        job.setInputFormatClass(TextInputFormat.class);
        TextInputFormat.addInputPath(job,new Path("file:///D:\\mapreduce_demo\\double"));
        //配置mapper和K2,V2类型
        job.setMapperClass(j_mapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        //分区、排序、规约、分组

        //指定reducer类和K3,V3类型
        job.setReducerClass(j_reducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        //设置输出类型和路径
        job.setOutputFormatClass(TextOutputFormat.class);
        TextOutputFormat.setOutputPath(job,new Path("file:///D:\\mapreduce_demo\\joinresult"));
        //等待任务结束
        boolean flag = job.waitForCompletion(true);
        return flag?0:1;
    }

    public static void main(String[] args) throws Exception {
        Configuration entries = new Configuration();
        int run = ToolRunner.run(entries, new join_jobmain(), args);
        System.exit(run);
    }
}

Map端Join

  1. 在mapper端进行join重写setup方法和map方法

    package com.bigdata.mapreduce.mapjoin;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import java.util.HashMap;

public class mj_mapper extends
        Mapper<LongWritable,Text,Text, Text> {
    private HashMap<String, String> map = new HashMap<>();
    //1. 将分布式缓存的小表数据读取到本地map集合
    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        //1. 获取分布式缓存列表
        URI[] cacheFiles = context.getCacheFiles();
        //2. 获取指定的分布式缓存文件的文件系统
        FileSystem fileSystem = FileSystem.get(cacheFiles[0], context.getConfiguration());
        //3. 获取文件的输入流
        FSDataInputStream open = fileSystem.open(new Path(cacheFiles[0]));
        //4. 读取文件内容，并存入map集合
        //字节输入流转换为缓存字符流
        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(open));
        //读取数据存入map集合中
        String line = null;
        while((line = bufferedReader.readLine()) != null) {
            String[] split = line.split(",");
            map.put(split[0],line);
        }
        //5. 关闭流
        bufferedReader.close();
        fileSystem.close();
    }
    //2. 对大表的处理，实现大小表join
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //大表处理
        String[] split = value.toString().split(",");
        String s = split[2];
        //大小表join
        String Linedata = map.get(s);
        String data = Linedata + "\t" + value.toString();
        context.write(new Text(s),new Text(data));

    }
}

  2. jobmain

    package com.bigdata.mapreduce.mapjoin;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.net.URI;

public class mj_jobmain extends Configured implements Tool {
    @Override
    public int run(String[] strings) throws Exception {
        //获取job对象
        Job job = Job.getInstance(super.getConf(), "maphoin");
        //设置job对象
        //将小表放在分布式缓存中
        job.addCacheFile(new URI("hdfs://"));
        //设置输入类和输入路径
        job.setInputFormatClass(TextInputFormat.class);
        TextInputFormat.addInputPath(job, new Path("file:///D:\\mapreduce_demo\\double\\orders.txt"));
        //设置mapper类
        job.setMapperClass(mj_mapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        //分区、排序、规约、分组
        //设置reducer类

        //设置输出类和路径
        job.setOutputFormatClass(TextOutputFormat.class);
        TextOutputFormat.setOutputPath(job,new Path("file:///D:\\mapreduce_demo\\mapjoin"));
        //等待任务结束
        boolean flag = job.waitForCompletion(true);
        return flag?0:1;

    }

    public static void main(String[] args) throws Exception {
        Configuration entries = new Configuration();
        int run = ToolRunner.run(entries, new mj_jobmain(), args);
        System.exit(run);
    }
}

案例

需求：求两个人的共同好友

原数据：

A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J

思路：写两个mapreduce完成需求

第一个：mapper：将冒号左边的数据作为V2，将冒号右边的每一个数据都做为K2，将数据转换为：

在这里插入图片描述

reducer：相同的K2的数据组成一个集合，遍历集合将数据用**”—“**连接起来：

在这里插入图片描述

并将K2作为V3，连接后的数据作为K3：
在这里插入图片描述

第二个：mapper，将第一个mapreduce的输出数据读取，按\t分割将map1的K3两两连接形成K2，map1的V3作为V2：
在这里插入图片描述

reducer：将map2的K2作为K3，遍历map2的V2将数据用**”-“**连接起来
在这里插入图片描述

代码：

  1. mapper1

    package com.bigdata.mapreduce.firends;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class setpMapper1 extends
        Mapper<LongWritable, Text,Text,Text> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //以冒号拆分数据，0索引就是V2
        String[] split = value.toString().split(":");
        //以逗号拆分1索引数据，遍历列表，每个元素就是K2
        for (String i : split[1].split(",")){
            context.write(new Text(i),new Text(split[0]));
        }
    }
}

  2. reducer1

    package com.bigdata.mapreduce.firends;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class setpReducer1 extends
        Reducer<Text,Text,Text,Text> {
    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        StringBuilder builder = new StringBuilder();
        for (Text value : values){
            builder.append(value).append("-");
        }
        int length = builder.toString().length()-1;
        String k3 = builder.toString().substring(0, length);
        context.write(new Text(k3),key);
    }
}

  3. jobmain1

    package com.bigdata.mapreduce.firends;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class septjobmain1 extends Configured implements Tool {
    @Override
    public int run(String[] strings) throws Exception {
        Job job = Job.getInstance(super.getConf(), "sept1");
        job.setInputFormatClass(TextInputFormat.class);
        TextInputFormat.addInputPath(job,new Path("file:///D:\\mapreduce_demo\\input\\firends.txt"));
        job.setMapperClass(setpMapper1.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        job.setReducerClass(setpReducer1.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        TextOutputFormat.setOutputPath(job,new Path("file:///D:\\mapreduce_demo\\firends"));
        boolean flag = job.waitForCompletion(true);
        return flag?0:1;
    }

    public static void main(String[] args) throws Exception {
        Configuration entries = new Configuration();
        int run = ToolRunner.run(entries, new septjobmain1(), args);
        System.exit(run);
    }
}

  4. mapper2

    package com.bigdata.mapreduce.firends;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;
import java.lang.reflect.Array;
import java.util.Arrays;

public class septmapper2 extends
        Mapper<LongWritable, Text,Text,Text> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //拆分行文本数据并对数据进行排序
        String[] split1 = value.toString().split("\t");
        String[] split = split1[0].split("-");
        Arrays.sort(split);
        //将数据两两组合并写入上下文数据
        for (int i = 0; i < split.length ; i++) {
            for (int j = i+1; j < split.length ; j++) {
                String k2 = split[i] + "-" + split[j];
                context.write(new Text(k2),new Text(split1[1]));
            }
        }
    }
}

  5. reducer2

    package com.bigdata.mapreduce.firends;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class septreducer2 extends
        Reducer<Text,Text,Text,Text> {
    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        StringBuilder builder = new StringBuilder();
        for (Text value : values){
            builder.append(value).append("-");
        }
        int length = builder.toString().length()-1;
        String k3 = builder.toString().substring(0, length);
        context.write(key,new Text(k3));
    }
}

  6. jobmain2

    package com.bigdata.mapreduce.firends;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class septjobmain2 extends Configured implements Tool {

    @Override
    public int run(String[] strings) throws Exception {
        Job job = Job.getInstance(super.getConf(), "sept2");
        job.setInputFormatClass(TextInputFormat.class);
        TextInputFormat.addInputPath(job,new Path("file:///D:\\mapreduce_demo\\firends\\part-r-00000"));
        job.setMapperClass(septmapper2.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        job.setReducerClass(septreducer2.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        TextOutputFormat.setOutputPath(job,new Path("file:///D:\\mapreduce_demo\\firends2"));
        boolean flag = job.waitForCompletion(true);
        return flag?0:1;
    }

    public static void main(String[] args) throws Exception {
        Configuration entries = new Configuration();
        int run = ToolRunner.run(entries, new septjobmain2(), args);
        System.exit(run);
    }
}

MapReduce知识点（1）
MapReduce知识点（2）
MapReduce知识点（3）
MapReduce知识点（4）

_知多少_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MapReduce(3)
hyl910503的博客
12-29 434
自定义InputFormat 自定义步骤： 1、自定义一个类继承FileInputFormat 2、改写recurdReader,实现一次读取一个完整文件放置为ky 3、在输出时使用SequenceFileOutputFomat输出合并文件 无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义InputFormat...
MapReduce知识点
ziania_cumt的博客
04-16 311
MapReduce知识点
3.Mapreduce知识点
qq_50166024的博客
03-10 668
day01————— 一个完整的SQL语句 select distinct...from...[join]...[where...][group by...][having...][order by....][limit..] [union all] SQL子句的运行顺序： (1) from leftTable (2) on 条件 (3) [left|inner|right] join rightTable (4) where 子句 (5) group
Hadoop-MapReduce知识点总结
Iron_M_a_n的博客
12-25 753
Hadoop MapRedeuce 知识点总结 + 源码分析
Hadoop(MapReduce)知识点总结
serendipity
02-07 2767
第1章 MapReduce概论 1.1 MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上 1.2 MapReduce优缺点 1.2.1 优点 A．MapReduce易于编程 B．良好的扩...
mapReduce知识点总结
青春季风暴
11-16 2106
mapreduce概述 mapreduce定义： MapReduce是一个分布式运 算程序的编程框架,是用户开发" 基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群 上。 mapreduce优缺点： 优点： 1. MapReduce易于编程 它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机器上运...
MapReduce基础知识(个人总结)
hellosrc的博客
11-05 2176
MapReduce有三个进程: MrAppMaster: 负责整个程序的过程调度及状态协调 MapTask ReduceTask 类型对应: Java类型 Hadoop Writable类型 Boolean BooleanWritable Byte ByteWritable Int IntWritable Float FloatWritable Long LongWritable Double DoubleWritable String Text Map Ma
HBase核心知识点总结
01-27
【HBase核心知识点总结】 HBase，作为一款基于Hadoop的分布式数据库，是解决大规模数据存储和快速访问问题的关键工具。其主要特点是稀疏性、分布式、持久化和多维有序映射，通过行键、列键和时间戳进行索引，支持...
mapreduce高级特性3
10-22
结合案例讲解mr重要知识点1.1 多表连接1.2 mr各组件之间数据传递1.3 mr中压缩设置1.4 多个job之间有序执行1.5 自定义outputFormat
知识点整理_for_software.zip
01-17
《软件设计师一本通_精华知识点(重要必看).pdf》是针对软件设计领域的核心知识点进行系统整理的参考资料，旨在帮助学习者深入理解并掌握软件设计的关键概念和技术。这份压缩包中的文档涵盖了软件设计的多个重要方面...
大数据技术知识点概要
10-30
对林子雨老师的大数据原理与应用课程的总结，基本是个人的理解，包括了对各个术语的解释。帮助读者入门大数据。
Hadoop学习整理的基础知识包含MapReduce和Hive（思维导图形式）
11-03
Hadoop学习整理的基础知识（思维导图） 1、初始Hadoop 2、Hadoop分布式文件系统 3、Hadoop分布式计算框架 4、Hadoop资源管理器Yarn 5、基于Hadoop的数据仓库Hive
MapReduce 的核心知识点，你都 get 到了吗 ?（干货文章，建议收藏！）
大数据梦想家
05-02 8054
说实话，我不相信你都 get 到了这些点 ~
MapReduce 的知识点详解<2>
BlackKillerr的博客
11-13 632
Shuffle(混洗) shuffle 输入是key value的 list shuffle 输出是key value的list MapReduce计算任务的步骤 第一步 ：inputFormat inputFormat到hdfs上读取数据 将数据传给split 第二步split split将数据进行逻辑切分，将数据传给RR 第三步：RR RR：将传入的数据转换成一行一行的...
DNS
ThreeAspects的博客
05-20 1565
HDFS写入文件需要把大文件分割成多个块，那么会把文件的某一个行分成在不同的块中。则在读取的时候是否会出现问题？ 参考：博客   Hadoop使用的InputSplit通常是FileSplit，一个FileSplit主要存储的信息是path、start和分片长度length。当MapReduce程序开始执行时，会根据path构建一个FSDataInputStream，定位到start，然后开始读取...
HBase 面试题(一)
大数据流浪法师的学习笔记与分享
12-31 388
大数据面试题之HBase面试题
MapReduce知识点梳理
liuli
12-18 332
1. MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 2.MapReduce的优缺点 优点： 易于编程 简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价...
MapReduce知识点总结
zhuizhuo的博客
02-13 693
一.nodemanager配置问题 资源总量cpu core 8 内存8g 这个是默认的可以进行更改，这是资源上限 真是内存只有2G，你启动容器的时候，可能会起不来，内存不足，会出现问题，如果你把内存配成1个G你真实内存只有 2G,去掉机器占的，你启动mr程序会报错，因为你开辟的空间不够。mrappmaster默认最小参数是1.5G所以启动的时候 可能报错，启动不起来。nodemanager...
MapReduce 知识点
liu_changshen的博客
11-15 337
MapReduce核心思想 分而治之,先分后和,就是将一个大文件拆分成多个小文件,并行处理,最终进行合并 map负责分 reduce负责合 偏移量 行首字符到文档最前端的字符数量 Suffer包含哪些步骤 partition 分区 Sort 排序 combiner 局部聚合 Group 分组 MR从读取数据到写入hdfs经过哪些步骤 第1步：Inp...
mapreduce的高级知识点
最新发布
07-27
- *1* *2* *3* [分布式计算模型MapReduce 基础知识点](https://blog.csdn.net/weixin_44589991/article/details/115014112)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值