MapReduce Input Split（输入分/切片）详解

最新推荐文章于 2025-09-18 10:25:24 发布
置顶 最新推荐文章于 2025-09-18 10:25:24 发布
阅读量3.8w 收藏 72
点赞数 19
CC 4.0 BY-SA版权
分类专栏： 大数据动物园 大数据基础知识
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dr_guo/article/details/51150278
MapReduce的输入分片（Input Split）在执行map任务前确定，每个分片对应一个map任务。分片大小由minSplitSize、maxSplitSize和blockSize决定，实际占用空间按文件大小。Hadoop 2.x默认block大小为128MB，1.x为64MB，可通过配置调整。未设置分片范围时，splitSize等于blockSize。小文件在HDFS中仍按实际大小占用空间，块大小作为元数据用于决定文件增长时的split点。

看了很多博客，感觉没有一个说的很清楚，所以我来整理一下。

先看一下这个图

 

 

 

 

 

输入分片（Input Split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身，而是一个分片长度和一个记录数据的位置的数组。

Hadoop 2.x默认的block大小是128MB，Hadoop 1.x默认的block大小是64MB，可以在hdfs-site.xml中设置dfs.block.size，注意单位是byte。

分片大小范围可以在mapred-site.xml中设置，mapred.min.split.size mapred.max.split.size，minSplitSize大小默认为1B，<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
MapReduce 中的 InputSplit
SmartSi
01-11 2687
在查看数据块的如何处理之前，我们需要更仔细地了解Hadoop如何存储数据。在Hadoop中，文件由一个一个的记录组成，最终由mapper任务一个一个的处理。例如，示例数据集包含有关1987至2008年间美国境内已完成航班的信息。如果要下载数据集可以打开如下网址：http://stat-computing.org/dataexpo/2009/the-data.html。每一年都会生成一个大文件（...
MapReduce Input Split（输入分/切片）详解--比较容易理解
rakuphone的博客
03-16 973
转自：https://blog.csdn.net/Dr_Guo/article/details/51150278 看了很多博客，感觉没有一个说的很清楚，所以我来整理一下。 先看一下这个图 输入分片（Input Split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身，而是一个分片长度和一个记录数据的位置的数组...
MapReduce源码分析之InputSplit分析
chlaws的专栏
04-03 1万+
前言 MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。 什么是InputSplit        InputSplit是指分片，在MapReduce当中作业中，作为map task最小输入单位。分片是基于文件基础上出来的而来的概念，通俗的理解一个文件可以切分为多少个片段，每个片段包括了等信息。在MapTask拿到这些分片后，会知道从哪开始读取数据。 Job
一张图吃透 MapReduce：原理、流程、关键组件与工程实践
最新发布
qq_46371374的博客
09-18 1029
MapReduce是一种分布式计算模型，通过Map和Reduce两个阶段实现大规模数据处理。Map阶段将输入数据转换为键值对，Reduce阶段对相同键的值进行聚合。系统自动完成数据分区、排序、跨节点传输等复杂流程。以商品销量统计为例，Map阶段将订单数据转为(商品ID,1)键值对，Reduce阶段对相同商品ID的计数求和。关键组件包括Mapper、Combiner、Partitioner和Reducer等。MapReduce适合离线批处理，但相比Spark等内存计算引擎性能较低。
漫谈Map Reduce 参数优化
data_man_online的博客
07-31 786
Hive0.11版本及以后的版本，可以使用hive.auto.convert.join.noconditionaltask.size和hive.auto.convert.join.noconditionaltask两个配置参数。hive.auto.convert.join.noconditionaltask的默认值是true，表示Hive会把输入文件的大小小于hive.auto.convert.join.noconditionaltask.size指定值的普通表连接操作自动转化为MapJoin的形式。...
MapReduce之InputSplit
说文科技，做有态度的研究。
06-28 531
MapReduce之InputSplit 一.源码 package org.apache.hadoop.mapreduce; import java.io.IOException; import org.apache.hadoop.classification.InterfaceAudience; import org.apache.hadoop.classification.Inte...
MapReduce框架原理—InputFormat数据输入(源码详解+实现类+切片机制+案例操作)
安歌Object
08-21 780
一、Job提交流程和切片源码详解 1．job提交流程源码详解，如代码下图 waitForCompletion() submit(); // 1建立连接 connect(); // 1）创建提交job的代理 new Cluster(getConfiguration()); // （1）判断是本地yarn还是远程 ...
Hadoop中MapReduce之Job提交和切片信息详解
Hao_JunJie的博客
03-25 1810
下图是wordCount驱动类，从源码方式看它是如何进行提交的 进入waitForCompletion 方法之后 当state为DEFINE 进行submit() 进行提交 ensureState(JobState.DEFINE):确保job的状态为DEFINE setUSerNewAPI(); 使用新的API connect() 建立连接：是提交到YARN集群还是Local 如下图： 进入connect() 方法 返回Cluster对象：return new Cluster.
【MapReduce详解及源码解析（一）】——分片输入、Mapper及Map端Shuffle过程
lzw2016的博客
12-03 2235
title: 【MapReduce详解及源码解析（一）】——分片输入、Mapper及Map端Shuffle过程 date: 2018-12-03 21:12:42 tags: Hadoop categories: 大数据 toc: true 点击查看我的博客：Josonlee’s Blog 版权声明：本文为博主原创文章，未经博主允许不得转载（https://blog.csdn.net/lzw20...
MapReduce Input Split（输入分/切片）具体解释
weixin_30470857的博客
07-31 401
看了非常多博客。感觉没有一个说的非常清楚，所以我来整理一下。 先看一下这个图 输入分片（Input Split）：在进行map计算之前，mapreduce会依据输入文件计算输入分片（input split），每一个输入分片（input split）针对一个map任务。输入分片（input split）存储的并不是数据本身，而是一个分片长度和一个记录数据的位置...
MapReduce中从Input split到Map的联系
敲代码的quant的博客
08-18 907
上一篇文章搞明白了文件从上传到hdfs，再到通过实现了InputFormat的FileInputFormat类来将文件进行输入分片的划分，而最后计算好了的分片是怎么传递给了map呢？ 还是通过源码来解决。在InputFormat中还有一个方法叫做createRecordReader()/** * Create a record reader for a given split. The
MapReduce Input Split 输入分/切片
afei2530的博客
05-22 222
MapReduce Input Split（输入分/切片）详解 public static long getMaxSplitSize(JobContext context) { return context.getConfiguration().getLong(SPLIT_MAXSIZE, ...
MapReduce中跨InputSplit数据的处理
黑夜舞者的专栏
10-10 1024
LineRecordReader类的分析 InputSplit只是一个逻辑概念，每个InputSplit并没有对文件进行实际的切割，只是记录了要处理的数据的位置，首先说明InputSplit的生成： 一、bytesRemaining = length，length为文件的大小，bytesRemaining初始化的值为文件的大小 二、生成blockIndex，blkIndex =getBloc
Hadoop系列之MapReduce InputSplit(24)
热门推荐
02-05 6万+
MapReduce InputSplit Hadoop InputSplit InputSplit 是数据的一种逻辑表示，即我们所说的文件的数据分片。每个分片由一个 mapper 处理，当然，mapper 并非直接对数据分片进行处理，在 mapper 处理数据分片之前，数据分片会被转换成记录，即键值对。mapper 直接操作键值对。 MapReduce InputSplit 的长度是以字节来度量的，每个 InputSplit 都有相应的存储位置（主机名称）。MapReduce 利用分片存储位置，把 map
mapreduce中MAP数量如何控制？
TURING.DT
10-28 3349
一、果断先上结论 1.如果想增加map个数，则设置mapred.map.tasks 为一个较大的值。 2.如果想减小map个数，则设置mapred.min.split.size 为一个较大的值。 3.如果输入中有很多小文件，依然想减少map个数，则需要将小文件merger为大文件，然后使用准则2。     二、原理与分析过程 看了很多博客，感觉没有一个说的很清楚，所以我来整理一下
MapReduce参数调优
m0_70949976的博客
03-02 2694
设置Map，reduce参数调优其个数，以及如何保证输出端的小文件合并等问题
Mapper输入InputSplit分片数透析
雪山飞狐
09-26 1242
什么是InputSplit InputSplit是指分片，在MapReduce当中作业中，作为map task最小输入单位。分片是基于文件基础上出来的而来的概念，通俗的理解一个文件可以切分为多少个片段，每个片段包括了&lt;文件名，开始位置，长度，位于哪些主机&gt;等信息。map task的数量由输入文件总大小和分片大小确定的；hadoop2.2版本hdfs的数据块默认是128M。若一个文...
真正让你明白Hive参数调优系列1：控制map个数与性能调优参数
涤生大数据
11-07 3万+
本系列几章系统地介绍了开发中Hive常见的用户配置属性（有时称为参数，变量或选项），并说明了哪些版本引入了哪些属性，常见有哪些属性的使用，哪些属性可以进行Hive调优，以及如何使用的问题。以及日常Hive开发中如何进行性能调优。 1.Hive有哪些参数，如何查看这些参数 Hive自带的配置属性列表封装在HiveConfJava类中，因此请参阅该HiveConf.java文件以获取Hi...
MapReduce中的输入分片(input split)机制解析
资源摘要信息:"在MapReduce框架中，input.split()方法用于计算输入数据的分片（input split），以适应各个map任务的处理需求。在Java编程环境中，MapReduce任务的执行首先需要对输入数据进行分片处理。每个分片对应...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

光于前裕于后

您的打赏将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值