MapReduce切片机制

于 2024-04-02 15:58:43 发布
阅读量275 收藏 3
点赞数 4
分类专栏： 程序员 文章标签： mapreduce eclipse 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83817971/article/details/137273566
版权

===========================================================================

为什么需要切片

MapReduce是一个分布式计算框架，处理的是海量数据的计算。那么并行运算必不可免，但是到底并行多少个Map任务来计算呢？每个Map任务计算哪些数据呢？这些我们数据我们不能够凭空估计，只能根据实际数据的存储情况来动态分配，而我们要介绍的切片就是要解决这个问题，

在这里插入图片描述

切片机制原理

切片的规则我们需要通过阅读源代码来了解。首先我们来看下hadoop中默认的两个参数配置

1.默认参数

官网地址:http://hadoop.apache.org/docs/stable/hadoop-mapreduce-c

最低0.47元/天 解锁文章
2401_83817971
关注
专栏目录
MapReduce之切片
weixin_49063354的博客
08-13 462
MapReduce之切片 1 切片与MapTask并行度决定机制 1）问题引出 ​ MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job 的处理速度。 ​ 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那 么1K的数据，也启动8个MapTask， 会提高集群性能吗？MapTask并行任务是否越多越好呢？哪些因素影响了 MapTask并行度？ 2）MapTask并行度决定机制 ​ **数据块：**Block是HDFS物理上把数据分成一块一块。数据块是 HDFS存储
为了了解Mapreduce切片机制，我开始了第一次源码探索......
smallUmbralla的博客
11-12 1798
文章目录说在前面人话模式1.探索前的热身2.探索ing源码说在后面 说在前面 ​ 今天的视频在讲解源码，不出意外的我又在迷糊中听了大半，老师在后面摇了好几下我才醒，然后就被安排了一个伟大而艰巨的任务——学会自己看源码…… ​ 怎么办呢？那就看嘛！在看之前我还不忘百度搜索一下看源码的好处。下方为知乎某大佬原话 “我为什么读源码” 很多人一定和我一样的感受：源码在工作中有用吗？用处大吗？很长一段时间内我也有这样的疑问，认为哪些有事没事扯源码的人就是在装，只是为了提高他们的逼格而已。 那为什么我还要读源码呢
MapReduce学习二：切片机制
qq_35515283的博客
01-16 2342
一、InputFormat数据输入 1.1切片与MapTask并行度决定机制 问题引出： MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：MapTask是否越多越好？ MapTask并非越多越好，需要根据数据量合理设置MapTask的数量，否则不但不会提高集群性能，反而适得其反。 举例：1k数据，根本不需要多个MapTask，反而启动MapTask花费的时间比处理数据多的多。 MapTask并行度决定机制 数据块：...
Hadoop（三）——MapReduce③框架原理
zz60708320的博客
10-15 266
一、InputFormat数据输入 1.1 切片与MapTask并行度决定机制 数据块：Block 是 HDFS 物理上把数据分成一块一块 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。 1）一个 Job 的 Map 阶段并行度由客户端在提交Job时的切片数决定。 2）每一个 Split 切片分配一个MapTask并行实例处理。 3）默认情况下，切片大小=Bl...
MapReduce 框架 + 切片
JiangDongS的博客
06-25 289
MapReduce 框架原理： ​ 1、流程示意图： ​ 2、流程详细： ​ 上面的流程是整个 mapreduce 最全工作流程，但是 shuffle 过程只是从第 7 步开始到第 15 步结束，具体 shuffle 过程详解，如下： ​ 1）maptask 收集我们的 map() 方法输出的 KV 对，放到内存缓冲区中 ​ 2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文...
MapReduce排序的map切片+reduce分区及预合并(超级详细)
互联网知识分享
07-18 489
4）在上述示例代码中，我们定义了一个 partition 函数，它接收键值对列表和 reduce 任务数作为输入，根据键对键值对进行分组，并将其划分到不同的分区中。使用哈希函数对键进行映射，然后利用哈希函数的结果对 reduce 结果进行划分，即根据键的哈希值对 reduce 任务数进行取模，得到每个键值对的分区号。预合并操作的原理是将每个 reduce 函数处理的分组内的键值对按照键进行排序，然后将相同键的值进行局部合并。通常情况下，每个数据切片的大小是相等的，确保计算节点上的负载均衡。
MapReduce切片
qq_42265608的博客
07-20 278
反证法：假设，我们不使用块大小来定义， 设当前块大小为128M， 片大小为100M。我们需要计算HDFS中的数据，要从里面取300M的数据。首先，第一个块取出来，切， 还剩28M，取第二个块，切72M， 然后第二块还剩56M 再取第三块，再取44M。这样的结果，显然就是将数据块的数据分割重组，这样大大增加了资源的消耗。不论是比当前块大，还是比当前块小，都避免不了数据块的分割重组，所以，与块大小一致是目前最优。
MapReduce切片机制，java项目架构设计
m0_64205415的博客
11-14 100
2. 源码查看 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190404175300787.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9kcGItYm9ib2thb3lhLXNtLmJsb2cuY3Nkb 【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】 浏览器打开：qq.cn.hn/FTf ..
《MapReduce精粹：切片机制揭秘与实践指南》
最新发布
06-22
MapReduce是一种编程模型，用于处理和生成大数据集的并行计算程序。它由Google提出，并在2004年的一篇论文中被介绍给公众。MapReduce模型基于两个核心函数：Map和Reduce。 ### MapReduce的工作原理： 1. **Map阶段...
Hadoop | MapReduce学习笔记 | JavaAPI更换切片机制 | CombineTextInputFormat 切片 | 词频统计案例
希望每天都能进步一点点
02-06 885
文章目录一、参考资料二、运行环境三、CombineTextInputFormat 切片机制四、词频统计4.1 Mapper4.2 Reducer4.3 Driver 驱动类（关键）五、总结 一、参考资料 视频链接 二、运行环境 windows 10 JDK 8 Hadoop 3.1.3 windows版 IDEA 三、CombineTextInputFormat 切片机制 Hadoop框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会作为一个单独的切片，都会
简单解析mapreduce切片
chudajin2983的博客
12-15 201
在mapreduce中的切片是什么意思？顾名思义就是将数据进行切分，切分为数据片，其实这个切片关乎于map阶段的map个数，以及每个map处理的数据量的大小。 mapreduce中,一个job的map个数,每个map处理的数据量是如何决定的呢?另外每个map又是如何...
Mapreduce切片机制
BDLng的博客
12-18 2303
为什么： 一个文件比如由200MB，存储再HDFS上，又按HDFS默认块大小128MB进行切块(block)存储，且每个块(block)备份3份，那么这个文件将被切成2块存储到HDFS上。mapreduce程序相当于HDFS的客户端，每个节点上的mapreduce向HDFS拿数据时，如果没有规划好切片大小，导致节点上程序运行，需要从其他节点上拿数据，那么必然经过网络传输，会消耗网络资源，速度慢，
MapReduce切片机制及执行流程
moose_killer的博客
03-28 818
1|0MapReduce切片机制 在Map阶段会将读取进来的数据进行逻辑切片进行处理。 此切片与HDFS的切块不同，HDFS的切块是将文件按照block块的形式保存起来，mr则是将文件按照切片数进行计算 默认切片大小等于块大小，也就是128m切一片，切片数与MapTask的数量是一致的，MapTask的并行度是由客户端提交Job时的切片数决定的 2|0MR的执行流程 2|1MapTask阶段 可以分为五个阶段 Read阶段：MapTask根据用户编写的Reader从中解析出一个key/vaul
（笔记）mapreduce中关于切片的总结及混淆
qq_44952352的博客
04-26 315
（笔记）mapreduce中关于切片的总结及混淆 上传给map的切片 1.根据hadoop版本不同，切片的默认大小不同，目前一般为128M，还有64M。也可自己定义（一般不自己定义）。 2.切片的数量决定了起的maptask的数量，多少个切片对应多少个maptask。 3.一个小文件就是一个切片，就算不到128m，也是一个切片。例如：有三个文件，2M、4M、129M，这是四个切片。一般会通过自定义inputformat对小文件进行处理。（这儿和hdfs中的块的概论有点混淆） 4.上传的切片并不是文
MapReduce中的切片问题
qq_46828975的博客
04-18 539
MapReduce中的切片问题 先看一张图，MapReduce的数据流 输入的数据在分配给MapTask之前会被切片，数据切片是在逻辑上对数据进行分片。物理上并没有发生变化。有多少切片就有多少MapTask。 hadoop的HDFS把数据在物理上分块（block）存储，那么分块和切片之间是什么关系呢？ 数据块：Block是HDFS物理上把数据分成一块一块。 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。 1、TextInputFormat切片机制 系统默认的切片机制，切
10、Hadoop切片机制
u010502101的博客
03-31 3967
一个超大文件在HDFS上存储时，是以多个Block存储在不同的节点上，比如一个1G的文件，HDFS默认一个Block为128M，那么1G的文件分成8个Block存储在集群中8个节点上。 Hadoop在map阶段处理上述1G的大文件时分成几个MapTask进行处理呢？ ...
mapreduce执行整个过程-切片以及yarn的处理
enl_green的专栏
09-12 775
TextInputFormat会创建RecordReader去读取数据，通过getCurrentKey、getCurrentValue、nextKeyValue等方法来读取；读取的结果要形成key value的形式   以wordcount为例， 1.客户端运行类似如下代码： hadoop jar wordcount.jar cn.xx.xx.MainClass /input/ /outp...
从源码分析MapReduce的数据切片原理
ygyblue2的博客
07-21 1199
切片过程从JobSubmitter的writeSplits()开始 ---step into writeNewSplits() ---step into getSplits() 开始获取新的切片 首先会选出Format默认最小值和配置文件中设置的切片最小值  二者中最大的一个 getFormatMainSplitSize()默认返回值为1  getMinSplitSi...
Hadoop MapReduce编程与运行机制解析
通过这门课程的学习，学员不仅能理解MapReduce的基本原理和运行机制，还能掌握如何编写MapReduce程序，包括常见的算法设计和优化技巧，从而具备在实际项目中运用MapReduce解决大数据问题的能力。此外，课程可能还会...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值