MapReduce框架原理-InputFormat数据输入（From 尚硅谷）

最新推荐文章于 2024-05-20 15:39:49 发布
最新推荐文章于 2024-05-20 15:39:49 发布
阅读量446 收藏
点赞数
分类专栏： Hadoop 文章标签： mapreduce hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936816/article/details/122326229
版权

个人学习整理，所有资料来自尚硅谷
B站学习连接：添加链接描述

MapReduce框架原理-InputFormat数据输入

1.1 InputFormat数据输入

1.1.1 切片与MapTask并行度决定机制

  • 问题引出

    MapTask的并行度决定Map阶段的任务处理并发度，进行影响到整个Job的处理速度。

  • MapTask并行度决定机制

    • 数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。

    • 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是MapReduce程序计算输入数据的单位，一个切片会对应启动一个MapTask。

（1）一个Job的Map阶段并行度由客户端在提交Job时的切片数决定；

（2）每一个Split切片分配一个MapTask并行实例处理；

（3）默认情况下，切片大小=BlockSize；

（4）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片。

1.1.2 Job提交流程和切片解析

（1）Job提交流程
在这里插入图片描述

（2）FileInputFormat切片源码

  • 程序先找到数据存储的目录；

  • 开始遍历处理（规划切片）目录下的每一个文件

  • 遍历第一个文件ss.txt

    • 获取文件大小fs.sizeOf(ss.txt)

    • 计算切片大小

      computeSplitSize(Math.max(minSize,Math.min(maxSize,blocksize)));//blocksize=128M

    • 默认情况下，切片大小=blocksize

    • 开始时，形成第一个切片：ss.txt—0-128M，第二个切片：ss.txt—128-256M，第三个切片：ss.txt—256-300M（每次切片时，都需要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片）

    • 将切片信息写到一个切片规划文件中

    • 整个切片的核心过程在getSplit()方法中完成

    • InputSplit只记录了切片的元数据信息，比如其实位置，长度以及所在的节点列表等

  • 提交切片规划文件到YARN上，YARN上的MrAppMaster就可以根据切片规划文件计算开启MapTask个数

1.1.3 FileInputFormat切片机制

在这里插入图片描述

在这里插入图片描述

1.1.4 TextInputFormat

（1）FileInputFormat实现类

​ 在运行MapReduce程序时，输入的文件格式包括：基于行的日志文件、二进制格式文件、数据库表等。针对不同的数据类型，MapReduce是如何读取这些数据的？

​ FileInputFormat常见的接口实现类包括：TextInputFormat、KeyValueTextInputFormat、NLineInputFormat、CombineTextInputFormat和自定义InputFormat等。

（2）TextInputFormat

​ TextInputFormat是默认的FileInputFormat实现类。按行读取每条记录。键是存储该行在整个文件中的起始偏移量，LongWritable类型。值是这行的内容，不包括任何行终止符，Text类型。

1.1.5 CombineTextInputFormat切片机制

框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。

  • 应用场景：

    CombineTextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。

  • 虚拟存储切片最大值设置

    CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m

    注意：虚拟存储切片最大值设置最好根据实际的小文件大小情况来设置具体的值。

  • 切片机制

    生成切片过程包括：虚拟存储过程和切片过程两部分。
    在这里插入图片描述

1.1.6 CombineTextInputFormat

需求：将输入的大量小文件合并成一个切片统一处理

输入：4个小文件

输出：期望一个切片处理4个文件

（1）默认使用TextInputFormat会产生4个MapTask

  • Mapper类
package com.atguigu.mapreduce.combineTextInputformat;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * KEYIN ,map阶段输入的key的类型：（偏移量）LongWritable
 * VALUEIN,map阶段输入的value的类型：（这一行的内容）Text
 * KEYOUT,map阶段输出的key的类型：（单词类型）Text
 * VALUEOUT,map阶段输出的value的类型：（单词次数）IntWritable
 */

public class WordCountMapper extends Mapper<LongWritable, Text,Text, IntWritable> {
    private Text outK = new Text();
    private IntWritable outV = new IntWritable(1);
    @Override
    protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        //1.获取一行信息
        String line = value.toString();

        //2.切割
        String[] words = line.split(" ");
        
        //3.循环写出
        for (String word : words) {
            outK.set(word);

            //4.写出
            context.write(outK,outV);
        }
    }
}
  • Reducer类
package com.atguigu.mapreduce.combineTextInputformat;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * KEYIN ,reduce阶段输入的key的类型：Text
 * VALUEIN,reduce阶段输入的value的类型：IntWritable
 * KEYOUT,reduce阶段输出的key的类型：Text
 * VALUEOUT,reduce阶段输出的value的类型：IntWritable
 */
//继承Reducer，org.apache.hadoop.mapreduce
public class WordCountReducer extends Reducer<Text, IntWritable,Text,IntWritable> {
    private IntWritable outV = new IntWritable();
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        //Iterable<IntWritable>类似以一个集合

        int sum = 0;
        //atguigu, (1,1)
        //1.累加
        for (IntWritable value : values) {
            sum += value.get();
        }

        outV.set(sum);
        //2.写出
        context.write(key,outV);
    }
}
  • Driver类
package com.atguigu.mapreduce.combineTextInputformat;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordCountDriver {//mapreduce阶段若输出路径存在，则报错FileAlreadyExistsException
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        //1.获取job——> org.apache.hadoop.mapreduce
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        //2.设置jar包路径
        job.setJarByClass(WordCountDriver.class);

        //3.关联mapper和reducer(jar包和mapper和reducer怎么产生联系？)
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //4.设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //5.设置最终输出的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //如果不设置InputFormat，它默认用的是TextInputFormat.class
        //job.setInputFormatClass(CombineTextInputFormat.class);

        //虚拟存储切片最大值设置4m
        //CombineTextInputFormat.setMaxInputSplitSize(job,4194304);

        //6.设置输入路径和输出路径
        FileInputFormat.setInputPaths(job,new Path("D:\\downloads\\hadoop-3.1.0\\data\\11_input\\inputcombinetextinputformat"));
        FileOutputFormat.setOutputPath(job,new Path("D:\\downloads\\hadoop-3.1.0\\data\\output\\outputCombine22"));

        //7.提交job
        boolean result = job.waitForCompletion(true);
        System.exit(result?0:1);
    }
}

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

一个ReduceTask
在这里插入图片描述

（2）使用CombineTextInputFormat

  • 只更改驱动类
package com.atguigu.mapreduce.combineTextInputformat;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordCountDriver {//mapreduce阶段若输出路径存在，则报错FileAlreadyExistsException
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        //1.获取job——> org.apache.hadoop.mapreduce
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        //2.设置jar包路径
        job.setJarByClass(WordCountDriver.class);

        //3.关联mapper和reducer(jar包和mapper和reducer怎么产生联系？)
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //4.设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //5.设置最终输出的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //如果不设置InputFormat，它默认用的是TextInputFormat.class
        job.setInputFormatClass(CombineTextInputFormat.class);

        //虚拟存储切片最大值设置4m
        CombineTextInputFormat.setMaxInputSplitSize(job,4194304);

        //6.设置输入路径和输出路径
        FileInputFormat.setInputPaths(job,new Path("D:\\downloads\\hadoop-3.1.0\\data\\11_input\\inputcombinetextinputformat"));
        FileOutputFormat.setOutputPath(job,new Path("D:\\downloads\\hadoop-3.1.0\\data\\output\\outputCombine22"));

        //7.提交job
        boolean result = job.waitForCompletion(true);
        System.exit(result?0:1);
    }
}

根据计算，MapTask个数应该是3
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ReduceTask个数仍是1

在这里插入图片描述

lavineeeen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据技术之Hadoop（MapReduce）第3章 MapReduce框架原理
尚硅谷铁杆粉丝的博客
08-21 772
3.1 MapReduce工作流程 1）流程示意图 2）流程详解 上面的流程是整个mapreduce最全工作流程，但是shuffle过程只是从第7步开始到第16步结束，具体shuffle过程详解，如下： 1）maptask收集我们的map()方法输出的kv对，放到内存缓冲区中 2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 3）多个溢出文件会被合并成大的溢出文件 4...
【MapReduce篇03】MapReduce之InputFormat数据输入1
08-04
问题背景：框架默认的TextInputformat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量
MapReduce整个流程
wudanixn的博客
03-22 3055
文章目录一、map端二、reduce端 一、map端 1、由InputFormat的默认实现类TextInputFormat调用createRecoderReader()方法，返回一个RecoderReader对象调用read()方法来读取，返回kv键值对。 2、将返回的kv键值对输入到map()函数，作为传入参数，经过用户自定义的逻辑后，由context.write()方法输出。 3、此时，输出会被outputCollector.collect()方法收集，并且写入到环形缓冲区。 4、环形缓冲区底层是一个
大数据培训CombineTextInputFormat案例实操
zjjcchina的博客
11-30 642
/ 如果不设置InputFormat，它默认用的是TextInputFormat.class。// 如果不设置InputFormat，它默认用的是TextInputFormat.class。将输入的大量小文件合并成一个切片统一处理。//虚拟存储切片最大值设置20m。//虚拟存储切片最大值设置4m。（b）运行如果为3个切片。（b）运行如果为1个切片。期望一个切片处理4个文件。
尚硅谷大数据开发Day04
浮生若梦
04-11 188
第 1 章 MapReduce 概述 1.1 MapReduce 定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 MapReduce 优缺点 1.2.1 优点 1）MapReduce 易于编程 它简单的实现一些接口，就可以完成一个分布式程序，这...
【Hadoop】5.3 ⭐MapReduce框架原理
coolcoolcool
08-14 203
5.3 ⭐MapReduce框架原理5.3.1 MapReduce工作流程5.3.2 InputFormat 数据输入5.3.3 Shuffle 机制（分区、排序）5.3.4 OutputFormat 数据输出5.3.5 MapReduce 内核源码解析5.3.6 Join的多种应用5.3.7 数据清洗（ETL） 5.3.1 MapReduce工作流程 输入数据接口： InputFormat 默认使用的实现类是： TextInputFormat TextInputFormat的功能逻辑是：一次读一
MapReduce框架原理之InputFormat
qq_43461159的博客
03-24 173
MapReduce框架原理之InputFormat
笔记-hadoop-MapReduce-InputFormat
liu_1221的博客
07-29 859
——尚硅谷视频笔记 InputFormat数据输入 切片与MapTask并行度决定机制 MapTask并行度决定机制 数据块：Block是HDFS物理上把数据分成一块一块。 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。 FileInputFormat切片机制 （1）源码中计算切片大小的公式 Math.max(minSize, Ma...
79-93-Hadoop-MapReduce-序列化
qq_37171694的博客
11-23 145
hadoop-79-93
Hadoop学习笔记--MapReduce
阿里里的博客
07-24 151
hadoop学习笔记
hadoop-mapreduce-client-jobclient-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-mapreduce-client-jobclient-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-jobclient-2.6.5-sources.jar； 赠送...
17_尚硅谷大数据之MapReduce框架原理1
08-03
3.2 InputFormat 数据输入 3.2.1 Job 提交流程和切片源码详解 3.2.2 FileInputFormat 切片机制
hadoop-mapreduce-examples-2.7.1.jar
06-03
hadoop-mapreduce-examples-2.7.1.jar
极简MapReduce框架Mincemeat-node.zip
07-18
Mincemeat-node 是使用Node.js实现的极简MapReduce框架，可以快速的部署投入工作，免去Hadoop繁琐的配置，享受随心大数据。Mincemeatpy实现的是一种非常简单的MapReduce模型，仅仅实现了任务的分布计算，并没有类似...
MIT 6.5840(6.824) Lab1:MapReduce 设计实现
pursuit的博客
05-14 690
本次实验是实现一个简易版本的MapReduce，你需要实现一个工作程序（worker process）和一个调度程序（coordinator process）。工作程序用来调用Map和Reduce函数，并处理文件的读取和写入。调度程序用来协调工作任务并处理失败的任务。你将构建出跟MapReduce论文里描述的类似的东西。（注意：本实验中用"coordinator"替代里论文中的"master"。阅读MapReduce论文阅读lab文档理解MapReduce框架理解原框架代码，理清所需完成任务。
大数据开发面试题【MapReduce篇】
最新发布
weixin_53191998的博客
05-20 1078
吐血整理，亲身经历
mapreduce的优化方法
DrKYQ的博客
05-13 404
也就是说 ，buffer和reduce是没有直接关联的 ，中间多个一个写磁盘->读磁 盘的过程 ，既然有这个弊端 ，那么就可以通过参数来配置 ，使得buffer中的一部分数据可以直接输送到reduce ，从而减少IO开销 ：mapred.job.reduce.input.buffer.percent ，默认为0.0。（1）合并小文件：在执行mr任务前将小文件进行合并，大量的小文件会产生大量的map任务，增大map任务装载次数 ，而任务的装载比较耗时 ，从而导致 mr 运行较慢。部分reduce实例。
MapReduce：分布式并行编程的基石
JAZJD的博客
05-18 1095
分布式并行编程是一种编程范式，它将计算任务分割成多个子任务，并分配给多个计算机节点同时执行，以提高计算速度和处理大规模数据。通过将计算任务分布在多个计算机上，可以并行执行多个子任务，从而显著提高计算速度。分布式并行系统可以轻松地添加或删除计算节点，以满足不断变化的计算需求。如果一个计算节点出现故障，其他节点可以继续运行，从而确保系统的整体可用性。MapReduce 是一种编程模型，用于处理和分析大规模数据集。
hadoop-mapreduce-client-core
11-18
使用hadoop-mapreduce-client-core模块，开发者可以基于Hadoop分布式计算框架快速开发并行处理大规模数据的应用程序。通过编写自定义的Mapper和Reducer，可以实现各种类型的分布式计算，如数据清洗、聚合分析、机器...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值