Hive优化系列之Map与Reduce数量选择

最新推荐文章于 2024-11-18 15:58:25 发布
最新推荐文章于 2024-11-18 15:58:25 发布
阅读量2.8k 收藏 10
点赞数
分类专栏： 大数据 hive MapReduce hive优化 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42306464/article/details/80497400
版权
本文探讨了Hive中MapTask和ReduceTask的数量选择优化，包括MapTask的数量由输入文件大小和分片尺寸决定，以及如何通过合并小文件、调整参数来优化。同时介绍了ReduceTask的数量对性能的影响，以及如何根据数据量和集群资源手动调整reduce任务数，以提高Hive查询效率。
摘要由CSDN通过智能技术生成

注意，以下操作都是针对非分桶表

map数量

  • 算法
    • MapTask的个数=输入文件总大小/分片尺寸，个人理解就是输出的文件数量
      • 原因：系统对输入的源文件依照Block的尺寸分片，并在执行Job时安排一个Map Task处理一个Block的
    • 或者由mapred.map.task数量决定，但是如果这个参数不合理的话，会失效
    • 小文件不分片
    • 压缩文件无法被切分
  • 优化建议
    • 优化原因
      • map数量过少则导致并发度减小，job过长；若大量作业，则会堵塞
最低0.47元/天 解锁文章
hive-sql-map和reduce数量设置及决定因素
ruijungao的博客
10-25 977
hive-sql-map和reduce数量设置及决定因素
数仓工具—Hive进阶之优化reduce任务数量(10)
热门推荐
11-10 7万+
优化 reduce 任务数量 前面我们介绍过了，如何控制map 的数量，以及为什么要控制map 的数量，具体可以参考前面的文章，Hive进阶之优化map任务数量,最终我们得到了一个结论，那就是使大数据量利用合适的map数；使单个map任务处理合适的数据量，这个就可以作为我们调节map 任务数的原则。 今天我们看一下如何优化 reduce 任务数量 为什么要控制reduce 数量 其实为什么要控制reduce 数量和为什么要控制map 数量是一样的，reduce 数量太少，每个reducer 处理的数据太多就
hive优化【增加执行的map数,reduce数】
cajeep2001的专栏
07-30 8197
hive中的启动的map数据量，以及reduce的数据量，都是由系统给控制的，一般来说，map的数据量是由文件的个数，以及文件量的大小所决定。如果你的文件很多，那么每个文件必然会启动一个map进行处理，或者你的文件非常大，是hdfs中block_size的N倍，那么就会分成N个文件，同样会启动N个map进行处理。而reduce的数据量则是根据你的key多少来决定的，一旦你的map生成的key非常多
hive map，reduce数目配置优化
weixin_38655836的博客
03-02 776
map task的数量即mapred.map.tasks的参数值，用户不能直接设置这个参数。Input Split的大小，决定了一个Job拥有多少个map。默认input split的大小是64M（与dfs.block.size的默认值相同）。然而，如果输入的数据量巨大，那么默认的64M的block会有几万甚至几十万的Map Task，集群的网络传输会很大，最严重的是给Job Tracker的调度...
Hive数据仓库、MapReduce进阶编程
最新发布
2301_81438789的博客
11-18 1057
通过对MapReduce入门编程的学习，我们实现了对某竞赛网站每日访问次数的统计任务。2021年3月、网站运营商提出了新的需求，为了比较今年与去年同期的用户访问数据，要求分别统计出2021年1月与2月的用户访问次数，并输出到不同的目录中。对于网站运营商提出的新需求，本章将继续带领读者通过MapReduce编程实现。本章将逐步引入一些高级的编程技巧，使得整个编程过程更加高效。统计访问竞赛网站的次数情况，可以适时加强赛事的宣传，进一步激发青年学子敢于参赛、直面挑战的进取精神，青年强，则国家强。
Hive优化（一）之合理设置Map及Reduce数
baidu_41805096的博客
06-16 985
一、合理设置Map数 map任务数主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。 复杂文件增加Map数： 当input的文件比较大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数，来使得每个map处理的数据量减少，从而提高任务的执行效率。 小文件进行合并： 如果一个任务有很多小文件（远远小于块大小128m），则每个小文件都会被当做一个块，用一个map任务来完成，而一个map任务启动和初始化的时间远远大于逻辑处理的时间，会造成很大的资源浪费。并且，同
hive优化参数map,reduce优化
wenwen1542的博客
03-06 659
hive调优参数map，reduce
Hadoop如何计算map数和reduce数
FZ的博客
03-10 513
Hadoop如何计算map数和reduce数 Hadoop在运行一个mapreduce job之前，需要估算这个job的maptask数和reducetask数。首先分析一下job的maptask数，当一个job提交时，jobclient首先分析job被拆分的split数量，然后吧job.split文件放置在HDFS中，一个job的MapTask数量就等于split的个数。
HIVE中MAP和REDUCE数量
Miracle.Zhao的博客
04-30 2908
一、总览MR执行过程 一般的 MapReduce 程序会经过以下几个过程：输入（Input）、输入分片（Splitting）、Map阶段、Shuffle阶段、Reduce阶段、输出（Final result）。 1、输入就不用说了，数据一般放在 HDFS 上面就可以了，而且文件是被分块的。关于文件块和文件分片的关系，在输入分片中说明。 2、输入分片：在进行 Map 阶段之前，MapReduce 框架会根据输入文件计算输入分片（split），每个输入分片会对应一个 Map 任务，输入分片往.
Hive中map与reduce数量控制
qq_36998916的博客
03-17 1367
1. 控制hive任务中的map数和reduce数 map数量 1.多少map数量合适: 遵循两个原则： 使大数据量利用合适的map数；使单个map任务处理合适的数据量； 2.主要决定因素: hdfs block-- input的文件总个数，input的文件大小，集群设置的文件块大小(默认128M) InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分 片，每一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端
Hive 如何计算Map，Reduce的个数
zbz1006572352的博客
05-29 671
hql语句转mapreduce整个编译过程分为六个阶段：（参考美团技术团队）1. Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树ASTTree2. 遍历AST Tree，抽象出查询的基本组成单元QueryBlock3. 遍历QueryBlock，翻译为执行操作树OperatorTree4. 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量。
TDH计算引擎针对数据倾斜现象的保护机制
andarly的专栏
10-08 818
Shuffle Write阶段当出现数据倾斜时将出现Bucket size is too large (>2G) after compress的报错提醒，此时应当调整reduce number或者调整分桶策略；
HIVE Mapred tasks exceed 1000000000
kaku1230的博客
04-01 5117
Topo check failed. Mapred tasks exceed 1000000000 Automerge可以直接在Inceptor命令行中开启： SET ngmr.partition.automerge = true; SET ngmr.partition.mergesize = n; SET ngmr.partition.mergesize.mb = m; "ngmr.part...
Hive压缩、存储与优化
qq_36800511的博客
10-23 737
hive压缩、存储和优化
Hive实战系列调优之调整Map个数
qq_30003943的博客
10-30 5456
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 Hive是如何将SQL转换成MapReduce的？又是如何运行在不同的的执行引擎如：Mr,Tez,Spark？我们在工作时哪些地方需要进行优化？带着这些问题我们将开展一期实战的性能优化。 提示：以下是本篇文章正文内容，下面案例可供参考 一、Hive中Map的个数是如何确定的？ 原理： 默认情况下Map的个数
hbase bucket size 太小导致启动失败
mtj66的博客，交流WX:SpringBreeze1104
05-24 1108
Region server exiting java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer at org.apache.hadoop.hbase.regionserver.HRegionS...
[Hive] Mapper和Reducer数量确定
藏知阁
06-15 942
一、Mapper数 分为两种情况： Situation 1： 如果hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat，采用文件分割算法，即针对每一个输入文件做以下循环： 1、 文件大小/splitSize>1.1，创建一个Map，这个Map的大小=splitSize，文件剩余大小=文件大小-splitSize 2 、文件剩余大小/splitSize<1.1，剩余的部分作为一个Map 从这里可以知道，Mapper数肯定大于或
TDH建表语句汇总
wj1298250240的博客
02-15 2071
TDH建表语句汇总 TEXT表 TEXT表是文本格式的表，是Inceptor默认的表格式。在数据量大的情况下，TEXT表的统计和查询性能 都比较低； TEXT表也不支持事务处理，所以通常用于将文本文件中的原始数据导入Inceptor中； 不建议在任何计算场景中使用TEXT表； CREATE EXTERNAL TABLE test.t1_ext ( id string ,legal...
Hive & Performance 学习笔记
Mac Track
04-08 5468
注：本文来源于 Hortonworks 的 Adam Muise 在 July 23 2013 日的 Toronto Hadoop User Group 大会上的一次演讲， 本文只是稍作增删、整理，以备忘。 原文请见：http://www.slideshare.net/adammuise/2013-jul-23thughivetuningdeepdive 1、Hi
Hive优化技巧：调整Map和Reduce数量及小文件合并
“Hive调优策略，包括大小表Join优化、小文件调优以及实现原理，特别是关于map和reduce任务数量的设定。” 在Hive数据仓库的调优中，优化map和reduce任务的数量是一个关键环节，它直接影响着查询性能和资源利用率。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值