day12mapReduce

最新推荐文章于 2024-11-10 11:21:24 发布
最新推荐文章于 2024-11-10 11:21:24 发布
阅读量235 收藏
点赞数
文章标签： mapreduce hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhhaini/article/details/122494204
版权
  1. shuuffle：分区，排序，combiner，分组

一.MapReduce

  1. 源码分析
    fileinputformat
for(bytesRemaining （剩余）= length; (double)bytesRemaining / (double)splitSize > 1.1D; bytesRemaining -= splitSize) {
                                blkIndex = this.getBlockIndex(blkLocations, length - bytesRemaining);
                                splits.add(this.makeSplit(path, length - bytesRemaining, splitSize, blkLocations[blkIndex].getHosts(), blkLocations[blkIndex].getCachedHosts()));
                            }

在这里插入图片描述
面试：mapreduce切片的时候会判断剩余的部分处以切片大小>1.1则会开辟新的maptask

二.分区练习（明确知道分区数量，不知道分区数量：reduceTask设置为最大：=数据量/一个reduce最多处理的数据量）

1.pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.7.5</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.7.25</version>
        </dependency>
    </dependencies>

    <groupId>com.hlzq</groupId>
    <artifactId>day10</artifactId>
    <version>1.0-SNAPSHOT</version>


</project>

在这里插入图片描述
分区少的报错原因：
在这里插入图片描述

package com.hlzq;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class Jobmain {
    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException, ClassNotFoundException {
        //1创建一个job任务对象
        Configuration configuration = new Configuration();
        Job job = Job.getInstance(configuration, "mypartioner_covid19");
        //2.指定job所在jar包
        job.setJarByClass(Jobmain.class);
        //3.制定源文件的读取方式和源文件的读取路径
        job.setInputFormatClass(TextInputFormat.class);//按照行读取


        TextInputFormat.addInputPath(job,new Path("file:///G:\\input\\us-covid19-counties.dat"));//指定源文件所在目录
        //4.指定自定义的mapper类，和k2,v2类型
        job.setMapperClass(MyPartiMapper.class);//指定mapper累
        job.setMapOutputKeyClass(Text.class);//k2类型
        job.setMapOutputValueClass(NullWritable.class);//v2类型
        //5.指定自定义分区（如果有的话）
        job.setPartitionerClass(MyParti.class);
        //设置reduce个数默认只有一个
        job.setNumReduceTasks(55);
        //6.指定自定义分组类（如果有的话）
        //7.指定自定义的reduce类和k3v3的数据类型
        job.setReducerClass(MyPartiReducer.class);//指定reduce累
        job.setOutputKeyClass(Text.class);//k3
        job.setOutputValueClass(NullWritable.class);//v3

        Path outputPath = new Path("file:///G:\\\\output");
        FileSystem fileSystem = FileSystem.get(new URI("file:///"), new Configuration());

        boolean flag=fileSystem.exists(outputPath);
        if (flag){
            fileSystem.delete(outputPath,true);
        }

        //8.指定输出方式类和结果输出路径
        job.setOutputFormatClass(TextOutputFormat.class);

        TextOutputFormat.setOutputPath(job,outputPath);


        //9.将job提交给样集群
        boolean bl=job.waitForCompletion(true);//true表示可以看到任务的执行进度

        //10.退出执行进程
        System.exit(bl?0:1);




    }
}

package com.hlzq;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class MyPartiMapper extends Mapper<LongWritable, Text,Text, NullWritable> {
//  ki 0   v2:1	0	1	2017-07-31 23:10:12	837255	6	4+1+1=6	小,双	0	0.00	0.00	1	0.00	1	1
//  k21	0	1	2017-07-31 23:10:12	837255	6	4+1+1=6	小,双	0	0.00	0.00	1	0.00	1	1   v2:nullwritable
    @Override
    protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context) throws IOException, InterruptedException {
      context.write(value,NullWritable.get());
    }
}

package com.hlzq;
//自定义分区规则：集成partitioner类，重写getPartioner
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

import java.util.HashMap;


public class MyParti  extends Partitioner<Text, NullWritable> {
    private static int index = -1;
    private static   HashMap<String, Integer> map = new HashMap<String, Integer>();//string周明 integer 分区编号

    //k2 :Text text,v2: NullWritable nullWritable,rduce个数: int i在jobmain设这
    public static int getPar(String stateName) {//传人洲名

        //判断map中的key是否存在，不存在添加，存在获取value
        boolean b = map.containsKey(stateName);
        if (!b) {
            map.put(stateName, ++index);//map中键值对不能重复
            return index;
        } else {
            return map.get(stateName);
        }

    }

    @Override
    public int getPartition(Text text, NullWritable nullWritable, int i) {
      //拆分行文本数据获取州
        String[] split = text.toString().split(",");
        int par = getPar(split[2]);
        return par;
    }
}

package com.hlzq;


import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class MyPartiReducer extends Reducer <Text, NullWritable,Text,NullWritable>{
    @Override
    protected void reduce(Text key, Iterable<NullWritable> values, Reducer<Text, NullWritable, Text, NullWritable>.Context context) throws IOException, InterruptedException {
        context.write(key,NullWritable.get());
    }
}

三.默认分区

  1. 哈希值
    在这里插入图片描述
  2. 大量的key相同则拼接时间戳 （1970年）
  3. 为了避免分区编号变为负数与21471483647在这里插入图片描述

四.排序与序列化

1.序列化：结构化对象转换为字节流在这里插入图片描述
Java中是通过实现接口Serializable.

package com.hlzq;

import org.apache.hadoop.io.Writable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
//如果在mapReduce中使用Javabean，则该Javabean类必须能够被序列化

public class Student implements Writable {
    private  String  name;
    private  int age;

    public Student() {
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public int getAge() {
        return age;
    }

    public void setAge(int age) {
        this.age = age;
    }
//序列化写
    @Override
    public void write(DataOutput out) throws IOException {
   out.writeUTF(name);
   out.writeInt(age);
    }
//反序列化读,序列化顺序必须和反序列化一致
    @Override
    public void readFields(DataInput in) throws IOException {
     this.name=in.readUTF();
     this.age=in.readInt();
    }
}
  1. 排序：指定排序规则，没有则按照地址值。
package com.hlzq;

import org.apache.hadoop.io.Writable;
import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
/**如果在mapReduce中使用Javabean，则该Javabean类必须能够被序列化
如果在mapReduce中使用Javabean，想让Javabean作为k2，而且自定义排序规则，则需要实现WritableComparable,则该类也可以被序列化
public interface WritableComparable<T> extends Writable, Comparable<T> {
}*/
public class Student2 implements WritableComparable <Student2>{
    private  String  name;
    private  int age;

    public Student2() {
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public int getAge() {
        return age;
    }

    public void setAge(int age) {
        this.age = age;
    }
//序列化写
    @Override
    public void write(DataOutput out) throws IOException {
   out.writeUTF(name);
   out.writeInt(age);
    }
//反序列化读,序列化顺序必须和反序列化一致
    @Override
    public void readFields(DataInput in) throws IOException {
     this.name=in.readUTF();
     this.age=in.readInt();
    }
//比较器，设置规则大于0,小于0，=0；
    @Override
    public int compareTo(Student2 o) {
        int result=this.getAge()-o.getAge();
        return result;
    }
}
  1. 例子：数据格式如下
  a   1
  a   9
  b   3
  a   7
  b   8
  b   10
  a   5


  a   1
  a   5
  a   7
  a   9
  b   3
  b   8
  b   10

要求:
第一列按照字典顺序进行排列
第一列相同的时候, 第二列按照升序进行排列
在这里插入图片描述

package com.hlzq.sort;

import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class SortBean implements WritableComparable<SortBean> {
    private  String word;
    private int num;

    @Override
    public String toString() {
        return
                 word + '\t' + num ;
    }

    public String getWord() {
        return word;
    }

    public void setWord(String word) {
        this.word = word;
    }

    public int getNum() {
        return num;
    }

    public void setNum(int num) {
        this.num = num;
    }

    @Override
    //排序算法快排和归并排序
    public int compareTo(SortBean o) {
        int i = this.word.compareTo(o.getWord());
        if (i==0){
            return  this.getNum()-o.getNum();
        }else
        return i;
    }

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeUTF(word);
        out.writeInt(num);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
      this.word=in.readUTF();
      this.num=in.readInt();
    }
}

package com.hlzq.sort;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class SortBeanMapper extends Mapper<LongWritable, Text,SortBean, NullWritable> {
    @Override
    protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, SortBean, NullWritable>.Context context) throws IOException, InterruptedException {
        //1.拆分v1de 行文本数据
        String[] split = value.toString().split("\t");
        //2.封装sortbean得到k2
        SortBean sortBean=new SortBean();
        sortBean.setWord(split[0]);
        sortBean.setNum(Integer.parseInt(split[1]));
        //3.v2是nullwritable
        //4.将k2和v2写入上下文中
        context.write(sortBean, NullWritable.get());
    }
}

package com.hlzq.sort;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class SortBeanReducer extends Reducer<SortBean, NullWritable,SortBean,NullWritable> {
    @Override
    protected void reduce(SortBean key, Iterable<NullWritable> values, Reducer<SortBean, NullWritable, SortBean, NullWritable>.Context context) throws IOException, InterruptedException {
        context.write(key,NullWritable.get());
    }
}

package com.hlzq.sort;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class Jobmain {
    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException, ClassNotFoundException {
        //1.创建一个job任务
        Configuration configuration = new Configuration();
        Job job = Job.getInstance(configuration, "mysort");
        //2.指定job所在的jar包
        job.setJarByClass(Jobmain.class);
        //3.指定源文件的读取路径
        job.setInputFormatClass(TextInputFormat.class);//按照行读取
        TextInputFormat.addInputPath(job,new Path("file:///G:\\input"));//文件所在目录
        //4.指定指定以的Mapper类的k2和v2的类型
        job.setMapperClass(SortBeanMapper.class);
        job.setMapOutputKeyClass(SortBean.class);
        job.setMapOutputValueClass(NullWritable.class);
        //5.指定reduce
        job.setReducerClass(SortBeanReducer.class);
        job.setOutputKeyClass(SortBean.class);
        job.setMapOutputValueClass(NullWritable.class);
        //6.输出目录
        Path outputPath = new Path("file:///G:\\\\output");
        FileSystem fileSystem = FileSystem.get(new URI("file:///"), new Configuration());
        boolean flag=fileSystem.exists(outputPath);
        if (flag){
            fileSystem.delete(outputPath,true);
        }
        //8.指定输出方式类和结果输出路径
        job.setOutputFormatClass(TextOutputFormat.class);

        TextOutputFormat.setOutputPath(job,outputPath);


        //9.将job提交给样集群
        boolean bl=job.waitForCompletion(true);//true表示可以看到任务的执行进度

        //10.退出执行进程
        System.exit(bl?0:1);

    }
}

五.Combineer（规约）

  1. 每一个map都可能会产生大量的本地输出，combiner的作用就是对map端的输出先做一次合并，减少在map和reduce节点间数据传输量，提高IO性能，是MapReduce的一种优化手段之一。在这里插入图片描述
  2. 代码
package com.hlzq.mapreduce;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class MyCombiner extends Reducer<Text, LongWritable,Text,LongWritable> {
    @Override
    protected void reduce(Text key, Iterable<LongWritable> values, Reducer<Text, LongWritable, Text, LongWritable>.Context context) throws IOException, InterruptedException {
        long count=0L;
        for (LongWritable value:values){
            count+=value.get();
        }
        //通过context将k3和v3写入上下文
        context.write(key,new LongWritable(count));

    }
}

在jobmain中指定combiner类

job.setCombinerClass(Mycombiner.class);

如果combiner和reduce相同可以不用写combiner

job.setCombinerClass(MyReduce.class);

在这里插入图片描述

六.自定义分组

  1. 分组：默认是相同k2放在集合中
    在这里插入图片描述
  2. 例子：有如下订单数据
    订单id 商品id 成交金额
    Order_0000001 Pdt_01 222.8
    Order_0000001 Pdt_05 25.8
    Order_0000002 Pdt_03 522.8
    Order_0000002 Pdt_04 122.4
    Order_0000002 Pdt_05 722.4
    Order_0000003 Pdt_01 2221.8

现在需要求出每一个订单中成交金额最大的一笔交易（TopN）
在这里插入图片描述

lhh123lhh123
关注
Hadoop系列-MapReduce自定义数据类型（序列化、反序列化机制）（十二）
Think Different
06-28 3710
Hadoop系列-MapReduce自定义数据类型（序列化、反序列化机制）（十二）
MapReduce常见算法 与自定义排序及Hadoop序列化
chenyuanshengboke的博客
11-11 632
MapReduce常见算法 •单词计数 •数据去重 •排序 •Top K •选择　　以求最值为例，从100万数据中选出一行最小值 •投影　　以求处理手机上网日志为例，从其11个字段选出了五个字段(列)来显示我们的手机上网流量 •分组　　相当于分区，以求处理手机上网日志为例，喊手机号和非手机号分为两组 •多表连接 •单表关联 使用TopK算法找出文件中的最大数： 复制代码 1 package sua...
day11MapReduce
lhhaini的博客
01-14 572
一.
day 51 MapReduce to HBase
qq_41464008的博客
12-03 89
I know, i know 地球另一端有你陪我
Day08:MapReduce深入
保护胖丁
04-28 150
优秀是一种习惯
day08 MapReduce
weixin_30270561的博客
11-28 52
PS：HDFS对于MapReduce来说，HDFS就是一个就是一个客户端。 PS:离线就是写sql,sparkh还是写sql 1. MAPREDUCE原理篇（1） Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个h...
【day01】MapReduce
一个摩羯座的程序猿
08-13 207
目录 MapReduce简介 MapReduce分而治之思想 MapReduce执行流程 MapReduce shuffle过程： wordcount MapReduce实现架构 MapReduce任务提交流程 MapReduce简介 MapReduce MapReduce是一个用于处理海量数据的分布式计算框架 。 - 此框架解决了： - 数据分布式存储 - 作业调度...
基于MapReduce实现手机流量统计 - DAY1
qq_64355981的博客
06-13 314
统计每个手机号上行流量和、下行流量和、总流量和（上行流量和+下行流量和）,并且：将统计结果按照手机号的前缀进行区分，并输出到不同的输出文件中去。手机号 上行包总和 下行包总和 上行流量总和 下行流量总和。Mapper: 把手机号、上行流量、下行流量拆开 把手机号作为key，把Access作为value写出去。Reducer形如：(“手机号”,)根据手机号进行分组，然后把该手机号对应的上下行流量加起来。
Day12-Hadoop中MapReduce编程
长安一片月的博客
08-25 251
hadoop -------------------------------   1.组成：common、hdfs、mapreduce、yarn。   2.hadoop集群搭建流程：3种搭建流程。   3.hdfs shell命令   4.hdfs体系结构：主从结构{namenode、datanode、secondarynamenode}     都是守护进程而非节点。【官网结构图】     fs...
【大数据day12】——MapReduce笔记.rar
04-23
MapReduce是Google提出的一种分布式计算模型，主要用于处理和生成大规模数据集。在大数据处理领域，MapReduce已经成为一种标准工具，其核心思想是将复杂的并行计算任务分解为两个主要阶段：Map（映射）和Reduce...
Hadoop-2.8.0-Day04-MapReduce编程案例-课件与资料.zip
04-30
在这个"Day04"的学习资料中，我们将深入探讨MapReduce编程模型，并通过具体的案例来理解其工作原理。 MapReduce 分为两个主要阶段：Map阶段和Reduce阶段。在Map阶段，原始数据被分割成多个块，每个块由一个Map任务...
Hadoop-2.8.0-Day05-MapReduce编程-课件与资料.zip
04-30
在大数据处理领域，Hadoop MapReduce 是一个至关重要的组件，尤其在Hadoop 2.8.0这个版本中，它提供了强大的分布式计算能力。MapReduce是Google提出的一种编程模型，用于大规模数据集（大于1TB）的并行计算。本资料...
MapReduce:Fair Scheduler前传
07-31
MapReduce是一种广泛使用的编程模型，用于处理和生成大数据集。其核心思想是将大数据集分割成独立的块，这些块可以并行处理，然后再将结果合并起来。MapReduce模型主要由两个阶段组成：Map（映射）阶段和Reduce...
mapreduce综合应用案例 — 气象数据清洗
huanghm88的专栏
11-10 941
目的本项目旨在运用MapReduce技术对气象数据进行清洗，以提高数据质量，使其更适用于后续的气象分析和研究工作。气象数据来源广泛且格式复杂，通过清洗可以去除错误、缺失和冗余的数据，提取有价值的信息，为气象领域的决策提供可靠依据。数据来源数据来源于气象观测站的原始观测记录，以文本文件形式存储，每行记录包含多个字段，如观测时间、观测地点、温度、湿度、气压等信息。数据可能存在一些问题，例如部分观测值超出合理范围（如温度低于绝对零度）、某些字段缺失或格式不统一等。创建一个类来表示气象数据记录，例如。
MapReduce 的 Shuffle 过程
weixin_63297999的博客
11-06 610
MapReduce 的 Shuffle 过程指的是 MapTask 的后半程，以及ReduceTask的前半程，共同组成的。从 MapTask 中的 map 方法结束，到 ReduceTask 中的 reduce 方法开始，这个中间的部分就是Shuffle。是MapReduce的核心，心脏。
计算机毕业设计Python+图神经网络考研院校推荐系统 考研分数线预测 考研推荐系统 考研爬虫 考研大数据 Hadoop 大数据毕设 机器学习 深度学习
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
11-08 1120
计算机毕业设计Python+图神经网络考研院校推荐系统 考研分数线预测 考研推荐系统 考研爬虫 考研大数据 Hadoop 大数据毕设 机器学习 深度学习
基于ECS实例搭建Hadoop环境
qq_41081716的博客
11-08 343
环境搭建：【ECS生长万物之开源】基于ECS实例搭建Hadoop环境-阿里云开发者社区
MiniGui业务开发基础培训-htk
最新发布
11-11
MiniGui业务开发基础培训-htk
com.harmonyos.exception.DiskReadWriteException(解决方案).md
11-11
鸿蒙开发中碰到的报错，问题已解决，写个文档记录一下这个问题及解决方案
idea使用MapReduce求各年销售总额
05-12
假设数据来源是一个包含每个销售记录的数据库表，每条记录包含以下字段：销售日期（year-month-day）、销售金额（revenue）等。 然后，需要使用MapReduce来进行数据处理。具体步骤如下： 1. Map阶段：将每条销售...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值