MapReduce中的map个数

最新推荐文章于 2023-05-29 20:29:30 发布
最新推荐文章于 2023-05-29 20:29:30 发布
阅读量926 收藏 3
点赞数
分类专栏： 大数据-Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/clerk0324/article/details/54927373
版权

在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。

公式：InputSplit=Math.max(minSize, Math.min(maxSize, blockSize)

影响map个数（split个数）的主要因素有：

mapreduce.input.fileinputformat.split.minsize 默认值 0

mapreduce.input.fileinputformat.split.maxsize 默认值 Integer.MAX_VALUE

dfs.blockSize 默认值 128M

所以在默认情况下 map的数量=block数



两榜进士
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ReduceMap:Java中的MapReduce
05-10
ReduceMap Java中的MapReduce 介绍 Java中的MapReduce，具有基本的master和worker实现。 项目结构 RPC框架 使用作为RPC框架。 protobuf3文件： master.proto：定义主RPC方法，由工作人员调用。 worker.proto：定义工作程序RPC方法，由master调用。 protobuf生成的代码：在target / generated-sources /中（未上传） 掌握 Master.java：ReduceMap主实现。 MasterRPCClient.java：用于调用RPC方法。 MasterRPCServer.java：用于接收RPC请求。 WorkerManager.java：管理工人的状态。 工人 Worker.java：ReduceMap worker实现。 WorkerRPCClient.
MapReduce源码解读之客户端作业提交、计算Map数量
qq_37163925的博客
04-19 217
1. 入口：WCDriver.java /** * 配置mr框架运行的一些参数，比如hdfs数据文件的目录，reduce文件上传到hdfs的目录 * 相当于yarn集群的客户端，需要在此封装mr框架的一部分参数，指定jar包，最后提交给yarn集群 * @author Lee * */ public class wordcountdriver { public static void m...
hadoop中如何控制map的数量
jediael_lu的专栏
08-08 2967
hadoop中如何控制map的数量@(HADOOP)[hadoop]hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词： block_size
Hive 如何计算Map，Reduce的个数
zbz1006572352的博客
05-29 360
hql语句转mapreduce整个编译过程分为六个阶段：（参考美团技术团队）1. Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树ASTTree2. 遍历AST Tree，抽象出查询的基本组成单元QueryBlock3. 遍历QueryBlock，翻译为执行操作树OperatorTree4. 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量。
Hive运行Mapreduce 中 Map 生成数量分析
qq_41142053的博客
05-25 638
背景 通常在执行HIVE sql，都会控制map 、reduce 个数在一个合理的范围，避免过多的资源浪费。由于hadoop 的每个任务在初始化是都需要一定时间，因此理想状态每个map 执行时间至少超过一分钟。 一、input.format 查看集群hive 默认 hive> set hive.input.format; hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat 一般常见的inputformat
Hadoop如何计算map数和reduce数
weixin_30488313的博客
05-08 103
阅读本文可以带着下面问题： 1.map和reduce的数量过多会导致什么情况？ 2.Reduce可以通过什么设置来增加任务个数？ 3.一个task的map数量由谁来决定？ 4.一个task的reduce数量由谁来决定？ 一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的 goalSize...
MapReduce中FileInputFormat解析
南洲.的博客
07-27 2562
1、概述 在map阶段，文件先被切分成split块，而后每一个split切片对应一个Mapper任务。 FileInputFormat这个类先对输入文件进行逻辑上的划分,以128M为单位,将原始数据从逻辑上分割成若干个split,每个split切片对应一个Mapper任务。 2、切片与与MapTask并行度决定机制 数据块：Block 是 HDFS 物理上把数据分成一块一块。数据块是 HDFS 存储数据单位。 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行 存储。数据切片是Ma
mapreduce中split划分分析（新版api）
wisgood的专栏
01-27 1万+
面试的过程中，笔者经常喜欢问一个问题：hadoop中map数是怎么确定的？但发现还是有好多面试者都答不上来。这个问题其实算是比较基础的一个问题，对于理解mapreduce的原理很有帮助。 今天有空结合源码分析一下。 本文以hadoop2.7.2的版本作为分析，代码链接如下。 —— [ github代码地址 ] 本文以org.apache.hadoop.mapreduce包作为讲解(即新AP...
MapReduce过程详解及其性能优化
热门推荐
aijiudu的博客
05-16 4万+
废话不说直接来一张图如下： 从JVM的角度看Map和Reduce Map阶段包括： 第一读数据：从HDFS读取数据 1、问题:读取数据产生多少个Mapper？？ Mapper数据过大的话，会产生大量的小文件，由于Mapper是基于虚拟机的，过多的Mapper创建和初始化及关闭虚拟机都会消耗大量的硬件资源； Mapper数太小，并发度过小，Job执行时间过长，无...
【单点】每日突破，MapReduce Split
pengpengsays
07-17 601
MapReduce Split 问：在MapReduce进行数据处理时，会进行split数据切片，它的默认拆分规则是？如果不按照默认规则进行拆分，会发生什么现象？ 答： MapReduce默认按照128M进行数据split切分（与HDFS Block大小相同），具体计算规则为： Math.max(minSize, Math.min(maxSize, blockSize)); mapreduce.input.fileinputformat.split.minsize=1 默认值为1 mapred
Hadoop中MapReduce框架入门
03-01
概念"Map（映射）"和"Reduce（归约）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系
MapReduce综合案例（4个）
06-16
1.社交网络综合评分案例 2.微博精准营销案例 3.物品推荐案例 4.QQ好友推荐案例
【MapReduce篇06】MapReduce之MapJoin和ReduceJoin1
08-04
【MapReduce篇06】MapReduce之MapJoin和ReduceJoin1
hadoop 2.6中管理界面
易水寒
07-15 1万+
http://192.168.24.161:8088/cluster    - Hadoop Task Tracker 状态  http://192.168.24.161:50070/           - Hadoop DFS 状态
Eclipse构建普通的MapReduce项目
易水寒
09-01 8543
1.jdk环境配置         jdk安装后好后配置相关JAVA_HOME环境变量,并将bin目录配置到path  2. 下载hadoop-2.7.1.tar.gz,并且解压到你的路径下D:\XXXX\workspace\hadoop-2.7.1 https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2
Hadoop是怎么分块的？
易水寒
03-14 5171
hadoop的分块有两部分   第一部分就是数据的划分（即把File划分成Block），这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml里配置选项进行划分。 dfs.block.size 67108864 The default block size for new files. 这个就是
MapReduce实现QQ好友推荐
易水寒
09-06 4773
大家都知道qq用户量上亿，每个用户又有很多的好友，因此，数据量十分的庞大，如何才能实现QQ的好友推荐呢？  下面举一个例子：  A有QQ好友B  B有QQ好友C  则A，C有可能是好友。  当A登录的时候，则会向A推荐C，当C登录的时候，则会向C推荐A。 package com.FriendsRecommended.findFrends; import java.io.IOExcep
CDH 问题
易水寒
05-31 3834
文件系统检查点已有 1 天，14 小时，36 分钟。占配置检查点期限 1 小时的 3,860.33%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 14,632 个事务。  2个可能；  1 ， namenode的Cluster ID 与 secondnamenode的Cluster ID 不一致，对比/dfs/nn/current/VERSION 和/dfs/snn/curr
HDFS 的 file size 和 block size
易水寒
07-21 1587
1、 一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？ 答案是实际的文件大小，而非一个块的大小。 2、如果hdfs占用Linux file system的磁盘空间按实际文件大小算，那么这个”块大小“有必要存在吗？ 其实块大小还是必要的，mapreduce分布式处理的时
mapreduce中map方法参数含义
最新发布
07-27
- mapreduce.map.cpu.vcores：每个Map任务需要的虚拟CPU个数。\[1\] - mapreduce.map.memory.mb：每个Map任务需要的内存量。\[1\] - mapreduce.map.java.opts：设置Map任务JVM的堆空间大小。默认值为-Xmx1024m，可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值