Hadoop新版和旧版中InputSplit大小的区别

最新推荐文章于 2023-03-02 21:53:33 发布
最新推荐文章于 2023-03-02 21:53:33 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： Hadoop 文章标签： mapreduce hadoop split
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mangoer_ys/article/details/46005415
版权

          Hadoop旧版中InputSplit的个数由下面三个参数决定：

         goalSize：totalSize/numSpilt.totalSize为文件大小，numSplit为用户设定的map task个数，默认为1.

         minSize：InputSplit的最小值，由配置参数 mapred.min.split.size,默认为1.

         blockSize：HDFS中块的大小.

         

         splitSize = max(minSize,min(goalSize,blockSIze))

         

        新版：

         maxSize：由配置参数mapred.max.split.size确定，已经不再考虑用户设定的map task个数.

         minSize：InputSplit的最小值，由配置参数 mapred.min.split.size,默认为1.

         blockSize：HDFS中块的大小.


       splitSize = max(minSize,min(maxSize,blockSIze))

mangoer_ys
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何设置 max_split_size_mb 以避免 Pytorch 中的碎片？
我的博客，不一样的自我表达
06-24 5613
本文旨在全面了解 PyTorch 中的内存碎片，并指导您为 max_split_size_mb 设置适当的值。当内存分配和释放的方式在分配的块之间留下小的、不可用的间隙时，就会出现内存碎片。随着内存变得碎片化，较小的空闲内存块会分散在各处，这使得为较大的张量分配连续内存变得困难。该set_max_split_size_mb函数采用两个参数：model（PyTorch 模型）和max_split_size_mb（以兆字节为单位的所需值max_split_size_mb）。
hadoop中如何控制map的数量
jediael_lu的专栏
08-08 2982
hadoop中如何控制map的数量@(HADOOP)[hadoop]hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词： block_size
一文读懂 PyTorch 显存管理机制
zandaoguang的博客
04-08 3902
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨米阿罗@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/486360176编辑丨极市平台首发于踢翻炼丹炉：https://www.zhihu.com/column/c_1320691511223136256二次转载须经作者授权导读本文细致的对PyTorch 显存管理机...
MapReduce参数调优
m0_70949976的博客
03-02 1713
设置Map，reduce参数调优其个数，以及如何保证输出端的小文件合并等问题
MapRduce中的输入格式化
weixin_45859104的博客
04-08 184
InputFormat接口 InputFormat接口包含了两个抽象方法：getSplits()和creatRecordReader()。InputFormat决定了Hadoop如何对文件进行分片和接收， 它能够从一个 job 中得到一个 split 集合（InputSplit[]），然后再为这个 split 集合配上一个合适的 RecordReader（getRecordReader）来读取每个split中的数据。InputFormat接口的实现细节如下。 public abstract class .
hadoop-3.3.4 版本（最新版）
12-14
在 Hadoop 中，MapReduce 底层的分布式文件系统是独文模块，用户可按照约定 的一套接口实现自己的分布式文件系统，然后经过简单的配置后，存储在该文件 系统上的数据便可以被 MapReduce 处理。 官网下载速度非常缓慢...
HADOOP权威指南 第3版 中文高清完整版
02-19
[中文]HADOOP权威指南 第3版 完整版 140M高清版 学习Hadoop大数据生态圈全方位剖析，做到知识无死角。 从内到外理解大数据各种技术，HBase，Hive，Pig，Zookeeper等等技术，从无到有掌握Hadoop技术。
Hadoop 2.10.0中文版API - 徐海蛟博士.CHM
06-11
本资料是Hadoop大数据Java开发API中文版，互联网+大数据AI程序猿必备资料。徐海蛟老师的教学资料。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序...
Hadoop权威指南(第4版)(修订版) 中英文PDF（含源码）
01-07
Hadoop权威指南:大数据的存储与分析(第4版)(修订版) 中英文PDF高清，包含源码！
hadoop权威指南4中文版本和源码
09-27
本书结合理论和实践，由浅入深，全方位介绍了Hadoop 这一高性能的海量数据处理和分析平台。全书5部分24 章，第Ⅰ部分介绍Hadoop 基础知识，第Ⅱ部分介绍MapReduce,第Ⅲ部分介绍Hadoop 的运维，第Ⅳ部分介绍Hadoop ...
真正让你明白Hive参数调优系列1：控制map个数与性能调优参数
热门推荐
涤生大数据
11-07 2万+
本系列几章系统地介绍了开发中Hive常见的用户配置属性（有时称为参数，变量或选项），并说明了哪些版本引入了哪些属性，常见有哪些属性的使用，哪些属性可以进行Hive调优，以及如何使用的问题。以及日常Hive开发中如何进行性能调优。 1.Hive有哪些参数，如何查看这些参数 Hive自带的配置属性列表封装在HiveConfJava类中，因此请参阅该HiveConf.java文件以获取Hi...
MaxCompute Spark 使用和常见问题
阿里云技术
01-12 2251
一. MaxCompute Spark 介绍 MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持用户以熟悉的开发使用方式提交运行Spark作业，以满足更丰富的数据处理分析场景。 1.1 关键特性 支持原生多版本Spark作业 社区原生Spark运行在MaxCompute里，完全兼容Spark的API，支持多个Spark版本同时运行 统一的计算资源 像MaxCompute SQL/MR等
深度学习环境配置
qq_40265393的博客
11-29 1万+
显卡算力和torch的cuda版本问题 报错信息： GeForce RTX 3090 with CUDA capability sm_86 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70. If you want to use the GeForce RTX 3090 GPU with
hive优化总结
xuxu96
04-04 4185
1.我们知道大数据场景下不害怕数据量大，害怕的是数据倾斜，怎样避免数据倾斜，找到可能产生数据倾斜的函数尤为关键，数据量较大的情况下，慎用count(distinct)，count(distinct)容易产生倾斜问题。 2.设置合理的map reduce 的task数量 map阶段优化 mapred.min.split.size: 指的是数据的最小分割单元大小；min的默认值是1B mapred.m...
漫谈Map Reduce 参数优化
data_man_online的博客
07-31 671
Hive0.11版本及以后的版本，可以使用hive.auto.convert.join.noconditionaltask.size和hive.auto.convert.join.noconditionaltask两个配置参数。hive.auto.convert.join.noconditionaltask的默认值是true，表示Hive会把输入文件的大小小于hive.auto.convert.join.noconditionaltask.size指定值的普通表连接操作自动转化为MapJoin的形式。...
17，关于spark的一些参数优化
北方的大数据之路
10-22 941
Executor执行能力 spark.executor.memory=4g 用于缓存数据、代码执行的堆内存以及JVM运行时需要的内存。 spark.yarn.executor.memoryOverhead=1024 Spark运行还需要一些堆外内存，直接向系统申请 spark.executor.cores=2 单个executor上可以同时运行的task数，该参数决定了一个executor上可以并行执行几个task。 Driver执行能力 spark.driver.memory=4g driver端的内存和
Hive的MapReduce优化
madman
04-02 414
纯属记录笔记..,没有实际操作过。 MR优化 map和reduce的个数 一个分片就是一个块，一个块对应一个maptask Hadoop源码中有一个计算公式 min(max_split_size,max(min_split_size,block_size)) min_split_size默认值0（最小分片大小） max取的时候取的是block_size，block_size默认是...
Hadoop新版本中map任务待处理split大小的计算方法
weixin_30906701的博客
08-11 308
1. split大小的计算公式 　　　minSize=max{minSplitSize,mapred.min.split.size} （minSplitSize大小默认为1B） 　　　maxSize=mapred.max.split.size（不在配置文件中指定时大小为Long.MAX_VALUE） 　　　splitSize=max{minSize,min{maxSize,blockSize...
hive优化（1）
Winner941112的博客
10-10 232
Hive在map端存在三个配置参数：set mapred.max.split.size=256000000; set mapred.min.split.size.per.node=256000000; set mapred.min.split.size.per.rack=256000000; set hive.input.format=org.apache.hadoop.hive.ql.io...
inputsplit大小
最新发布
06-10
在 MapReduce 作业中，可以通过设置 `mapreduce.input.fileinputformat.split.maxsize` 和 `mapreduce.input.fileinputformat.split.minsize` 参数来指定 InputSplit 的最大和最小大小。如果输入文件的大小小于最小 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值