Hive调优之map&reduce数目

最新推荐文章于 2022-08-29 19:55:02 发布
最新推荐文章于 2022-08-29 19:55:02 发布
阅读量810 收藏 6
点赞数
分类专栏： Hadoop&Hive 文章标签： hadoop 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lidongmeng0213/article/details/110930032
版权
本文详细探讨了Hive中map任务数量的确定方法，包括HiveInputFormat和CombineHiveInputFormat两种格式的影响，并指出小文件较多时可能会导致过多的map任务，浪费资源。同时，解释了map数据读取过程中的行分割处理。在reduce数目确定方面，介绍了Hive如何基于数据量和配置参数动态估算reduce任务数量，并讨论了过多或过少reduce任务的潜在问题。最后，提出了对map和reduce数量调整的思考，强调平衡资源利用和处理效率的重要性。
摘要由CSDN通过智能技术生成

map数目确定方法

Map数目的划分是由输入文件大小，个数等因素决定的，另外不同的文件输入格式切分map数目的方法也是不一样的，我们来看下Hive使用的两种输入格式的Map数目确定方法。

HiveInputFormat

MapTask的数目主要有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)，控制这些变量的参数如下:

set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
# 文件分割最大大小
set mapreduce.input.fileinputformat.split.maxsize=536870912; // goalSize
# 文件分割最小值
set mapreduce.input.fileinputformat.split.minsize=236870912
最低0.47元/天 解锁文章
小白数据猿
关注
专栏目录
hive 的map数和reduce如何确定
Super乐De博客
02-08 1642
一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 2. 举例： a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数 ...
Hive 如何计算Map，Reduce的个数
最新发布
zbz1006572352的博客
05-29 584
hql语句转mapreduce整个编译过程分为六个阶段：（参考美团技术团队）1. Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树ASTTree2. 遍历AST Tree，抽象出查询的基本组成单元QueryBlock3. 遍历QueryBlock，翻译为执行操作树OperatorTree4. 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量。
hive端的map端的优化手段
w5201314ws6123的博客
04-26 923
map存在的问题;1>map数过大，如果map数过大。在map端会产生大量的小文件(初始化和创建map数消耗资源过大)                          2>map数太小,job的执行度变小                          map的数取决于输入文件的大小，和文件的数决定,                         3>2种方法来增加map的...
【单点】每日突破，MapReduce Split
pengpengsays
07-17 731
MapReduce Split 问：在MapReduce进行数据处理时，会进行split数据切片，它的默认拆分规则是？如果不按照默认规则进行拆分，会发生什么现象？ 答： MapReduce默认按照128M进行数据split切分（与HDFS Block大小相同），具体计算规则为： Math.max(minSize, Math.min(maxSize, blockSize)); mapreduce.input.fileinputformat.split.minsize=1 默认值为1 mapred
Hadoop FileInputFormat中切片的大小的参数 运行详解
OH LEI``
07-24 2896
通过分析源码 在FileInputFormat中，计算切片大小的逻辑：Math.max(minSize, Math.min(maxSize, blockSize));  切片主要由这几个值来运算决定 minsize：默认值：1         配置参数： mapreduce.input.fileinputformat.split.minsize     maxsize：默认值：Long.MA...
Hive 调优总结，让 Hive 调优想法不再碎片化
javalingyu的博客
04-26 2415
根据 MapReduce 运行全流程，对每个环节进行调优 MapReduce 运行流程图 MapReduce 运行流程关键环节及相关参数 文件输入：对文件进行切片，可设置切片大小，可设置是否合并小文件 Map：Map 数量 = 输入文件切片数量 Map 文件输出：是否合并设置，合并为多大，什么情况下会合并 Reduce: hive 自动计算 reduce 个数 或者 显式指定 reduce 个数 Reduce 文件输出：是否合并，合并为多大，什么情况下合并 最终文件压缩：job 之间
Hive的Map/Reduce数目如何确定
ThreeAspects的博客
11-30 1680
Hive的Map/Reduce数目如何确定Mapreduce中Mapper个数的确定Mapreduce中Reducer个数的确定 Mapreduce中Mapper个数的确定   在Map阶段读取数据前，FileInputFormat会将输入文件分割成Split。Split的个数决定了Map的个数。 影响Map个数，即Split个数的因素主要有： 　　1）HDFS中dfs.block.size的值，...
hive调优方式
Naerdoy的博客
03-29 3649
1.fetch（hive可以避免MapRedice）对于hive可以简单地读取employee对应的储存目录下的文件，然后输出查询结果到控制台，修改hive.fetch.task.conversion的参数为more即可 2.本地模式 设置数据出入量，设置local mr的最大输入文件个数，当输入文件滆湖小于这个值时采用local mr的方式，默认为4 3.表的优化 1.小表join大表 将key相对分散,并且数据量小的表join的左边,这个可以有效减少内存溢出错误发生的几率,在进一步可以使用gr.
Hive高级用法01-hive调优
小梁
07-24 1850
文章目录1. 查看执行计划    1.1 执行计划有什么用:    1.2 怎么查询执行计划    1.3 简单示例2.建表优化      2.1 建分区表         2.1.1 什么是分区表   &nbs
Hive性能调优之合理调整Map与Reduce数量
寒暄的博客
07-18 1505
合理设置map数量 map阶段主要涉及两个问题：小文件太多或者大文件过于负责。 对应的解决方案就是减少map数量与增加map数量。 减少map数就是增加每个map处理的文件数量，用于处理大量小文件，间接加快速度。 -- CombineHiveInputFormat有对小文件合并的处理，hive2.X已经默认使用CombineHiveInputFormat set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
Hive 基于MapReduce引擎 map和reduce数的参数控制原理与调优经验
是个好男人的博客
11-26 2425
1.概述 主要对基于MR的map数和reduce数测试与调优 2.数据准备 （1）表信息 本次测试的表和sql都是使用的TPC-DS，表文件存储格式为text 表名 是否压缩 总数 占用空间 文件数 date_dim 否 73049 9.8 M 1 item ...
Hadoop-MapReduce学习
迷路剑客个人博客
01-24 1376
Hadoop-MapReduce学习 摘要 本文简要将就爱你过MapReduce，重点是Shuffle部分 0x01 MapReduce-Mapper侧 1.1 简介 以上是一张Hadoop官方创作的MR过程图示。我们以大数据届的HelloWorld-WordCount为例讲述下MR过程。 1.2 Split-分片 1.2.1 Split简述 Map阶段的输入通常是HDFS上文件。 在运行Ma...
hadoop生态圈面试精华之MapReduce(二)
m0_46914845的博客
08-29 1044
hadoop生态圈面试精华之MapReduce(二)
hive map，reduce数目配置优化
weixin_38655836的博客
03-02 744
map task的数量即mapred.map.tasks的参数值，用户不能直接设置这个参数。Input Split的大小，决定了一个Job拥有多少个map。默认input split的大小是64M（与dfs.block.size的默认值相同）。然而，如果输入的数据量巨大，那么默认的64M的block会有几万甚至几十万的Map Task，集群的网络传输会很大，最严重的是给Job Tracker的调度...
Hive中map与reduce数量控制
qq_36998916的博客
03-17 1342
1. 控制hive任务中的map数和reduce数 map数量 1.多少map数量合适: 遵循两个原则： 使大数据量利用合适的map数；使单个map任务处理合适的数据量； 2.主要决定因素: hdfs block-- input的文件总个数，input的文件大小，集群设置的文件块大小(默认128M) InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分 片，每一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端
Hive 调优总结
weixin_34250434的博客
10-23 206
一、查看执行计划explain extended hql；可以看到扫描数据的hdfs路径二、hive表优化分区（不同文件夹）：动态分区开启：set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict; 默认值：strict 描述：strict是避免全分区字段是...
Hive调优参数总结
cuichunchi的博客
02-17 1621
MR程序 优化参数 1、客户端显示以及job任务名和优先级 ##打印表头 set hive.cli.print.header=true; set hive.cli.print.row.to.vertical=true; set hive.cli.print.row.to.vertical.num=1; ##显示当前数据库 set hive.cli.print.current.db=true; ##job任务名 set mapreduce.job.name=p_${v_date}; ##job优先级 se.
Hive 常用设置
qq_22772259的博客
12-29 413
远程调试hive运行程序: hive --debug[:port=5005] hive日志级别及输出: hive --hiveconf hive.root.logger=DEBUG,console cli服务常用变量设置 //对于输入数据量比较小的任务,hive使用本地模式在单台机器上执行所有的任务 set hive.exec.mode.local.auto=true //是否打印表头 set...
Hive参数调整详细
someInNeed的博客
11-08 2444
--压缩配置： -- map/reduce 输出压缩（一般采用序列化文件存储） set hive.exec.compress.output=true; set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; set mapred.output.compression.type=BLOCK; --任务中间压缩 set hive.exec.compress.intermediate=true; set hi.
Hive调优：开启Map输出阶段与最终输出压缩
通过设置`hive.exec.compress.intermediate=true`，Hive会在Map阶段的输出进行压缩，减少了Map和Reduce之间的网络传输数据量。 2. **开启MapReduce中Map输出压缩功能**： 使用`set mapreduce.map.output.compress...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值