Map输入切片和记录的过程

最新推荐文章于 2024-08-26 14:48:27 发布

置顶

柯南爱上指针

最新推荐文章于 2024-08-26 14:48:27 发布

阅读量926

点赞数

分类专栏： hadoop 大数据文章标签： MapReduce split record

本文链接：https://blog.csdn.net/qq_35468937/article/details/80698489

版权

本文详细介绍了MapReduce在执行map()函数前的数据切片过程，包括InputSplit接口、InputFormat以及切片到运行map()方法的完整流程。文中以TextInputFormat为例，说明每个输入切片被划分为记录，RecordReader用于生成键值对并传递给map()函数。同时，文章探讨了文本输入的偏移量理解，解释了LongWritable类型的键存储行的字节偏移量，而值是不包含行终止符的文本内容。

摘要由CSDN通过智能技术生成

MapReduce在执行map()函数之前，还做了大量的工作，例如数据的切片，将切片生成键值对传给map()函数等等，在执行map()之前做了很多的事情，今天就记录一下输入数据的切片和记录。（tips：由于也是刚刚学，看了权威指南，分享一下心得，有什么问题希望大家指正）

1、简单介绍一下切片，记录以及map()方法之间的联系

一个输入的切片（split）就是一个由单个map操作来处理的输入块。每一个map()操作只处理一个输入分片。每个分片被划分为若干记录，每一个记录就是一个键值对，map()一个接一个的处理记录（后面用一个TextInputFormat输入格式来演示一下）。

2、介绍一下InputSplit接口和InputFormat

InputSplit接口：

输入分片在java中表示一个接口。（idea中使用ctrl+n来全局搜索）

package org.apache.hadoop.mapreduce;
import java.io.IOException;
import org.apache.hadoop.classification.InterfaceAudience.Public;
import org.apache.hadoop.classification.InterfaceStability.Stable;
@Public
@Stable
public abstract class InputSplit {
    public InputSplit() {
    }
    public abstract long getLength() throws IOException, Inte