MapReduce Task数目划分

最新推荐文章于 2021-01-19 12:43:35 发布
最新推荐文章于 2021-01-19 12:43:35 发布
阅读量986 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ThreeAspects/article/details/103639871
版权

Map任务的个数

  Mapper数据过大的话，会产生大量的小文件，过多的Mapper创建和初始化都会消耗大量的硬件资源。Mapper数太小，并发度过小，Job执行时间过长，无法充分利用分布式硬件资源。

Mapper数量由什么决定？

  1. 输入文件数目
  2. 输入文件的大小
  3. 配置参数

  输入目录中文件数量决定多少个Map会被运行起来，应用针对每一个分片运行一个Map。对于每一个输入的文件会有一个map split。如果输入文件超过了HDFS块的大小（128M）那么对于同一个输入文件会有多余2个的Map运行起来。

涉及参数：
mapreduce.input.fileinputformat.split.minsize //启动map最小的split size大小，默认0
mapreduce.input.fileinputformat.split.maxsize //启动map最大的split size
最低0.47元/天 解锁文章
K. Bob
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce—案例（二）求出现了相同分数的分数，次数，该分数的人数
potter
03-21 790
表中原始数据：computer,huangxiaoming,85 computer,xuzheng,54 computer,huangbo,86 computer,liutao,85 computer,huanglei,99 computer,liujialing,85 computer,liuyifei,75 computer,huangdatou,48 computer,huangjiaju,...
MapReduce编程job概念
weixin_42272887的博客
08-19 594
在Hadoop中，每个MapReduce任务都被初始化为一个job,每个job又可分为两个阶段:map阶段和reduce阶段。这两个阶段分别用两个函数来表示。Map函数接收一个<key,value>形式的输入，然后同样产生一个<key,value>形式的中间输出，Hadoop会负责将所有具有相同中间key值的value集合在一起传递给reduce函数，reduce函数接收一个如<key,(list of values)>形式的输入，然后对这个value集合进行...
Hadoop-MapReduce提交作业以及划分分片的源码分析（一）
吟啸徐行
11-13 713
MapReduce也写了很久，却一直没有系统的整理一下知识，从这篇文章开始争取坚持系统的整理学习一番！ 1： 任何一个Mapreduce作业都是以org.apache.hadoop.mapreduce.Job的submit或者waitForCompletion方法完成到集群的提交！这两个方法区别就是提交完毕作业之后客户端是否与Job的Driver断开，类似于Spark的--deploy-mode...
MapReduce中input split和block的划分以及maptask和reducetask数量的确定
敲代码的quant的博客
08-17 3479
学了mapreudce框架没多久，虽然会写很多的一些常见的案例，但是这个框架中一些本质地方的实现还是有很多疑惑的。所以就想整理一下最近所学到的东西。 首先先理清楚block和split的区别。 1、block块 当把文件上传到hdfs中时，第一步要进行的操作就是划分数据，数据在hdfs中被划分为一块一块的，默认的大小是64MB，这个块的大小可以在haddop-default.xml
MapReduce学习笔记之Reduce任务（四）
梓纾的专栏
10-13 7324
1. Reduce任务Reduce任务是一个数据聚合的步骤。数量默认为1，而使用过多的Reduce任务则意味着复杂的shuffle，并使输出文件的数量激增。mapreduce.job.reduces属性设置reduce数量，也可以通过编程的方式，调用Job对象的setNumReduceTasks()方法来设置。一个节点Reduce任务数量上限由mapreduce.tasktracker.reduce
MapReduce 基本原理（MP用于分布式计算）
weixin_30340745的博客
09-17 287
hadoop最主要的2个基本的内容要了解。上次了解了一下HDFS，本章节主要是了解了MapReduce的一些基本原理。 MapReduce文件系统：它是一种编程模型，用于大规模数据集（大于1TB）的并行运算。MapReduce将分为两个部分：Map（映射）和Reduce（归约）。 当你向mapreduce框架提交一个计算作业，它会首先把计算作业分成若干个map任务，然后分配到不同的节...
MapReduce优化----基本参数的设定
刘瑞东的专栏
03-25 2502
基本参数 要对你的MapReduce Task进行优化，首先我们需要了解一些基本的参数： dfs.block.size, dfs.blocksize： 默认的HDFS文件系统的block大小，单位为byte。 mapred.compress.map.output: map的输出是否压缩 mapred.map/reduce.tasks.speculative.execution: 推测执
MapReduce 优化（一）资源相关参数
Running_Tiger的博客
02-08 979
资源相关参数以下参数是在自己的 MapReduce 应用程序中配置就可以生效 mapreduce.map.memory.mb: 一个 Map Task 可使用的内存上限（单位:MB），默认为 1024。如果 Map Task 实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb: 一个 Reduce Task 可使用的资源上限（单位:MB），默认为 102
MapReduce 工作机制详解（二）ReduceTask工作机制
Running_Tiger的博客
02-08 907
ReduceTask 工作机制 Reduce 大致分为 copy、sort、reduce 三个阶段，重点在前两个阶段。copy阶段包含一个 eventFetcher 来获取已完成的 map 列表，由 Fetcher 线程去 copy数据，在此过程中会启动两个 merge 线程，分别为 inMemoryMerger 和onDiskMerger，分别将内存中的数据 merge到磁盘和将磁盘中的数...
MapReduce参数调优
Beckham008的专栏
04-15 2631
mapreduce参数调优
hadoop 2.2.X 配置参数说明：mapred-site.xml
无锋剑
03-24 398
&lt;!--Thu Aug 15 20:47:13 2013--&gt;  &lt;configuration&gt;    &lt;property&gt;    &lt;name&gt;mapreduce.task.timeout&lt;/name&gt;    &lt;value&gt;600000&lt;/value&gt;  &lt;/property&gt;    &
大数据框架MapReduce的map与reduce任务数合理设置
weixin_33742618的博客
03-22 525
为什么80%的码农都做不了架构师？>>> ...
Hive 配置mapred.tasktracker.map.tasks.maximum/hive.exec.reducers.max /每一个tasktracker同时运行的map任务数/最大map数
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-19 565
set mapred.tasktracker.map.tasks.maximum ; -- 2 ,默认，每一个tasktracker同时运行的map任务数为2 The maximum number of map tasks that will be run simultaneously by a task tracker. set mapred.tasktracker.reduce.tasks.maximum ; -- 2 ,默认，每一个tasktracker同时运行的reduce任务数...
Mapreduce中Map与Reduce任务的个数
热门推荐
雾幻的博客
04-11 1万+
1、Map任务的个数 读取数据产生多少个Mapper？？ Mapper数据过大的话，会产生大量的小文件,过多的Mapper创建和初始化都会消耗大量的硬件资源 Mapper数太小，并发度过小，Job执行时间过长，无法充分利用分布式硬件资源 Mapper数量由什么决定？？ （1）输入文件数目（2）输入文件的大小（3）配置参数 这三个因素决定的。 输入的目录中文件的数量决定多少个map会...
MapReduce的MapTask数量如何确定？
机器熊的技术大杂烩
04-08 9675
在map阶段，MapReduce会对要处理的数据进行分片（split）操作，为每一个分片分配一个MapTask任务。接下来map()函数会对每一个分片中的每一行数据进行处理得到键值对（key,value）。 那么数据分成多少片（how much splits）是如何确定的呢？ 先来了解两个概念 block块（数据块，物理划分） block是HDFS中的基本存储单位，hadoop1.x默认大小为...
MapReduce中的task数量
大唐帝国—前营
08-10 1170
1.map和reduce的数量过多会导致什么情况？ 2.Reduce可以通过什么设置来增加任务个数？ 3.一个task的map数量由谁来决定？ 4.一个task的reduce数量由谁来决定？ 一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的 goalSize = totalSize / mapred
Hadoopo-MapReduce（数据处理）
qq_42601983的博客
03-20 165
认识Hadoop Hadoop是Apache基金会下一个分布式的开源计算平台。 Hadoop可使用户在不了解分布式底层细节的情况下，使用简单的编程模型通过廉价PC的集群处理海量数据。 以Hadoop分布式文件系统（Hadoop Distrributed File System,HDFS）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop，为用户提供了系统底层细节...
MapReduce编程job概念原理
weixin_33739627的博客
05-12 398
　　在Hadoop中，每个MapReduce任务都被初始化为一个job,每个job又可分为两个阶段:map阶段和reduce阶段。这两个阶段分别用两个函数来表示。Map函数接收一个&lt;key,value&gt;形式的输入，然后同样产生一个&lt;ey,value&gt;形式的中间输出，Hadoop会负责将所有具有相同中间key值的value集合在一起传递给reduce函数，reduce函数接收...
MapReduce的分区与ReduceTask的数量
11-14 8209
MapReduce的分区与ReduceTask的数量 在MapReduce中，通过指定分区，会将同一个分区的数据发送到同一个reduce中，例如为了数据的统计，可以把一批类似的数据发 送到同一个reduce当中去，在同一个reduce中统计相同类型的数据，就可以实现类似数据的分区，统计等 直观的说就是相同类型的数据，送到一起去处理，在reduce当中默认分区只有1个。 MapReduce当中的分区...
Hdfs和mapreduce的数据划分
最新发布
05-17
数据划分在MapReduce中是由InputFormat类来完成的，这个类负责将输入数据划分成多个InputSplit，每个InputSplit都会被单独的一个Map Task进行处理。InputSplit可以是文件块或文件，具体取决于InputFormat的实现方式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值