Mapreduce中Mapper、Partition、Reducer数目的确定与关系

最新推荐文章于 2024-03-05 12:17:05 发布
最新推荐文章于 2024-03-05 12:17:05 发布
阅读量3.9k 收藏 11
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013760453/article/details/81322350
版权

Mapper：由客户端分片情况决定，客户端获取到输入路径的所有文件，依次对每个文件执行分片，分片大小通过最大分片大小、最小分片大小、hdfs的blocksize综合确定，分片结果写入job.split提交给yarn，对每个分片分配一个Mapper，即确定了数目。

Partition：由PartitionerClass中的逻辑确定，默认情况下使用的HashPartitioner中使用了hash值与reducerNum的余数，即由reducerNum决定，等于Reducer数目。如果自定义的PartitionerClass中有其他逻辑比如固定了，也可以与Reducer数目无关，但注意这种情况下，如果reducerNum小于分区数则会报错，如果大于则会产生无任务的reduecer但不会影响结果。但是如果reducerNum只有1个，则不会报错而是所有分区都交给唯一的reducer。

Reducer：通过job.setNumReduceTasks手动设置决定

奇妙探险家
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
从Hadoop框架与MapReduce模式中谈海量数据处理
03-04
几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理。由此，最近凡是空闲时，便在看“Hadoop”，“MapReduce”“海量数据处理”这方面的论文。但在看论文的过程中，总觉得那些论文都是浅尝辄止，常常看的很不过瘾，总是一个东西刚要讲到紧要处，它便结束了，让我好生“愤懑”。尽管我对这个Hadoop与MapReduce知之甚浅，但我还是想记录自己的学习过程，说不定，关于这个东西
map任务split切片 reduce个数 partition
旧时明月
07-26 1976
mapreduce（map和reduce个数） map任务split切片 reduce个数 partition map个数：由任务切片spilt决定的，默认情况下一个split的大小就是block 由参与任务的文件个数决定的  number of splits:1 对于大文件，一般选择split=block，如果split 对于小文件，默认一个文件启动一个map，这样
Hive的Map/Reduce数目如何确定
ThreeAspects的博客
11-30 1583
Hive的Map/Reduce数目如何确定Mapreduce中Mapper个数的确定Mapreduce中Reducer个数的确定 Mapreduce中Mapper个数的确定   在Map阶段读取数据前，FileInputFormat会将输入文件分割成Split。Split的个数决定了Map的个数。 影响Map个数，即Split个数的因素主要有： 　　1）HDFS中dfs.block.size的值，...
牛客网华为软件测试题库,牛客网华为机试题答案
最新发布
a17348的博客
03-05 420
大家好，小编来为大家解答以下问题，牛客网华为软件测试题库，牛客网华为机试题答案，现在让我们一起来看看吧！
MapReduce流程、如何统计任务数目以及Partitioner
weixin_34232744的博客
08-21 150
核心功能描述 　　应用程序通常会通过提供map和reduce来实现Mapper和Reducer接口，它们组成作业的核心。 　　Map是一类将输入记录集转换为中间格式记录集的独立任务。 这种转换的中间格式记录集不需要与输入记录集的类型一致。一个给定的输入键值对可以映射成0个或多个输出键值对。Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务，而每个InputS...
Hadoop MapReduce Shuffle机制之Partition分区 | 及分区案例实操
lesileqin的博客
04-19 1010
文章目录一、Partition是个什么东西？二、实现Partition的步骤 套路三、分区案例实操四、分区总结 一、Partition是个什么东西？ Map之后、Reduce之前的数据处理过程统称为Shuffle机制 Partition分区是Shuffle的一部分功能，它的作用是按照条件把结果输出到不同的文件（分区）中。 二、实现Partition的步骤 套路 三、分区案例实操 四、分区总结 ...
MapReduce之mapper以及reducer的个数决定性因素
LJJ1338的博客
09-13 7180
这个图大概可以描述mapreduce计算模型的执行过程，下面我们就围绕这个图聊几个问题，其中有工作中非常有用的问题： 1. mapper的个数  结论：mapper的个数是由输入数据的大小决定的，一般不需要我们去设置，如果你想控制mapper的个数，那么需要先了解hadoop是怎么控制mapper的个数。  如图所示，每个Mapper Tasker对应一个split（切片）,要处理的file...
MapReduce中的mapper个数决定（很全）
yuan_53yuan的博客
08-02 885
即上面两个的较小值，即满足各种参数设置下的最小map数。
Hive mapreduce的map与reduce个数由什么决定？
lihuazaizheli的博客
07-25 9346
文章目录1.MapTask的数量决定2.如何来调整MapTask的数量2.1 增加map的数量 : 调小maxsize (要小于blockSize才有效,比如128M)2.2 减少map的数量 : 调大minSize （要大于blockSize才有效，比如250M）2.3生产中一般不调整，但是要知道原理。3. ReduceTask的数量决定3.1 在执行hive shell的时候可以看到下列日志3.2 官网对这三个参数的解释3.3 通过源码分析 hive是如何通过方式一 动态计算reduce的个数的4.如何
彻底明白Hadoop map和reduce的个数决定因素
等风等雨等你
12-20 3214
Hadoop map和reduce的个数设置，困扰了很多学习Hadoop的成员，为什么设置了配置参数就是不生效那？Hadoop Map和Reduce个数，到底跟什么有关系。首先他的参数很多，而且可能随着版本不同一些配置参数，会发生一些变化，但是只要我们搞懂核心问题，那么其它在变，我们都能确定map的个数和reduce的个数。 首先来说，我们通过配置，无论你说的什么配置，能否就...
map和reduce的数量由什么决定？
weixin_33834679的博客
06-06 6260
2019独角兽企业重金招聘Python工程师标准>>> ...
17、MapReduce的分区Partition介绍
05-29
17、MapReduce的分区Partition介绍 网址：https://blog.csdn.net/chenwewi520feng/article/details/130454574 本文介绍MR的分区Partition。 本文分为2个部分，即介绍与示例。 前提依赖：hadoop环境可正常使用。
MRSIM：缓解MapReduce中的Reducer偏斜
04-08
MRSIM：缓解MapReduce中的Reducer偏斜
MongoDB中MapReduce的使用方法详解
09-09
MapReduce应该算是MongoDB操作中比较复杂的了，下面这篇文章主要给大家介绍了关于MongoDB中MapReduce使用的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起看看吧。
MapReduce中分区数与ReduceTask个数关系比较
QYHuiiQ
07-25 946
在MapReduce中如果不设置ReduceTask个数时，默认为1；
MapReduce的自定义分区与ReduceTask数量
大数据梦想家
11-14 5410
        本篇博客小菌为大家带来的是MapReduce的自定义分区与ReduceTask内容的分享(ReduceMap具体计算流程见《MapReduce中shuffle阶段概述及计算任务流程》)。         在MapReduce...
mapreduce中Partitioner数量与reducetask数量对结果影响
qq_35699475的博客
07-21 5594
图中可以看出Partition主要作用就是将map的结果发送到相应的reduce。 1.现在测试一下第一种情况，Partition数量为1，返回值0，reduce数量为3。 设置reduce数量 设置Partition数量 结果输出3个文件，但只有part-r-00000有内容，其它两个为0字节。 2.现在测试一下第二种情况，Partition数量为1
MapReduce中Shuffle机制下的Partition分区方法实现——针对执行后需要多个结果文件的需求
m0_56066550的博客
12-07 298
在现实需求中，我们时长会遇到将执行结果按照某些条件存放到不同的结果文件中，Partition分区即可实现这个功能。 Partition分区有默认Partition分区和自定义Partition分区两种，下面我们逐一介绍。 一、默认Partition分区： public class HashPartitioner<K, V> extends Partitioner<K, V> { //提供空参构造器 public HashPartitioner() {
Hive 中的Mapper Reducer个数 决定因素
格子衫
08-10 1302
1.Mapper个数 Hive 中的Mapper个数的是由以下几个参数确定的： mapred.min.split.size，mapred.max.split.size，dfs.block.size splitSize =Math.max(minSize, Math.min(maxSize, blockSize)); map个数还与inputfilles的个数有关，如果有2个输入文件，即使总大小小于blocksize,也会产生2个map 2.Reducer个数 我们每次执行hive的hql时...
mapperreduce在Shuffer时，每个 Mapper 切分 partition 的大小影响
06-09
Mapper 在进行数据处理时，会将数据分成多个 key-value 对，其中 key 用于分组，value 则是实际的数据。在 Shuffle 阶段，会将 Mapper 输出的数据按照 key 进行合并，然后发送到各个 Reducer 上进行处理。 在进行 Shuffle 时，每个 Mapper 切分 partition 的大小会影响 Shuffle 的效率和负载均衡。如果 partition 过小，会导致 Shuffle 过程中需要传输的数据量过大，增加网络传输的负载，降低 Shuffle 的效率；如果 partition 过大，则会导致某些 Reducer 负载过重，处理速度慢，从而影响整个作业的处理速度和效率。 因此，在设置 partition 的大小时，需要根据数据集的大小和计算资源的情况进行合理的划分，以达到最优的 Shuffle 效果和负载均衡。一般来说，可以通过调整 MapReduce 的参数来实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值