HIVE Map和Reduce数量 优化点

最新推荐文章于 2024-05-08 09:00:00 发布
最新推荐文章于 2024-05-08 09:00:00 发布
阅读量505 收藏 1
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xw514124202/article/details/104949020
版权
本文介绍了Hive中Map和Reduce数量的计算方法及其优化点。Map数量由splitSize决定，根据文件大小和Hdfs Block Size计算，而Reduce数量则受mapred.reduce.tasks、hive.exec.reducers.bytes.per.reducer等参数影响。文中提供了相关优化参考文章。
摘要由CSDN通过智能技术生成
一、Map的数量是怎么计算

代码位置：org.apache.hadoop.hive.ql.io.(HiveInputFormat | CombineHiveInputFormat)
函数：getSplits
Hive的HiveInputFormat类 是对 MR的InputFormat接口 的封装
下面介绍MR的Map数量获取

1、计算 splitSize
// org.apache.hadoop.mapred.FileInputFormat getSplits函数

// totalSize 是Map端输入的数据量, numSplits 是mapred.map.tasks参数值
long goalSize = totalSize / (numSplits == 0 ? 1 : numSplits);
最低0.47元/天 解锁文章
阿武z
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【硬刚Hive】Hive高级（3）：优化(3) 合理设置 Map 及 Reduce 数/并行执行/ 严格模式/JVM 重用/压缩
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 724
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 5 合理设置 Map 及 Reduce 数 1）通常情况下，作业会通过 input 的目录产生一个或者多个 map ....
hive优化之mapreduce个数
farbeyonds的博客
11-26 581
hive中mapreduce个数参数优化
Hive 复杂数据类型之map
鸭梨的博客
12-27 4519
定义格式如下： create table tableName( ....... colName map<T,T> ...... ) 案例准备： 测试数据如下 zhangsan chinese:90,math:87,english:63,nature:76 lisi chinese:60,math:30,english:78,nature:0 wangwu chinese:89,math:25 create table if not exists map1( name string,
hive复杂数据类型之 map映射
wowulita123的博客
05-08 1722
好了，今天的map映射介绍就分享到这里，已经给大家讲的非常详细了，大家在实际的工作中可能不太能用得上，但是作为一个优秀的程序员，很多东西你可以不用，不掌握，但是你不能不知道有这么一个东西！！知道才是王道，万一在代码开发中需要用呢？？？你可以想起这篇文章。欢迎一键三连，您的鼓励是我创作的动力。
Hive框架中reduce number的计算
黄二狗的博客
07-22 2908
本文为转载内容，原文地址 http://blog.csdn.net/wisgood/article/details/42125367 我们每次执行hive的hql时，shell里都会提示一段话： ... Number of reduce tasks not specified. Estimated from input data size: 500 In order to chan
Hadoop如何计算map数和reduce数
lpxuan151009的专栏
09-03 1万+
Hadoop在运行一个mapreduce job之前，需要估算这个job的maptask数和reducetask数。首先分析一下job的maptask数，当一个job提交时，jobclient首先分析job被拆分的split数量，然后吧job.split文件放置在HDFS中，一个job的MapTask数量就等于split的个数。 job.split中包含split的个数由FileInputFor
hive的一些关于设置map和reduce的参数
11-20
hive的一些关于设置map和reduce的参数
HIVE查询优化
01-07
1、设置合理的task数量（map task、reduce task） 这里有几个考虑的点，一方面Hadoop MR task的启动及初始化时间较长，如果task过多，可能会导致任务启动和初始化时间远超逻辑处理时间，这种情况白白浪费了计算资源...
Hive - A Warehousing Solution Over a Map-Reduce.pdf
最新发布
06-27
hive
Hive性能优化
01-27
本文来自于cnblogs,赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍:继续《那些年使用Hive踩过的坑》一文中的剩余部分.首先，我们来看看Hadoop的计算框架特性，在此...
hive优化.docx
12-10
Hive优化方法 Hive是一个基于Hadoop的数据仓库工具，用于存储和处理大规模数据。然而，在Hive开发过程中，常见的性能问题之一是数据倾斜问题。...Hive优化方法可以有效解决数据倾斜问题，提高Hive的性能和效率。
大数据HIVE篇--控制hive任务中的map数和reduce数
qq_43709558的博客
03-22 1415
空置Map和Reduce的个数
Hive实战系列调优之调整Reduce个数
qq_30003943的博客
10-31 1216
相比map个数的控制复杂性，reduce个数的设定要相对简单多了，reduce的个数一般最后决定了输出文件的个数，二者相等，如果想多输出文件的个数（这样文件变小，但有可能程序变慢），那么可以人为增加reduce个数。如果想减少文件个数，也可以手动较少reduce个数(同样可能程序变慢）。但实际开发中，reduce的个数一般通过程序自动推定，而不人为干涉，因为人为控制的话，如果使用不当很容易造成结果不准确，且降低执行效率。 参数控制个数： set mapred.reduce.tasks ; -- 默认值为
Hive 基于MapReduce引擎 map和reduce数的参数控制原理与调优经验
是个好男人的博客
11-26 2224
1.概述 主要对基于MR的map数和reduce数测试与调优 2.数据准备 （1）表信息 本次测试的表和sql都是使用的TPC-DS，表文件存储格式为text 表名 是否压缩 总数 占用空间 文件数 date_dim 否 73049 9.8 M 1 item ...
hive处理小文件（进行map、reduce、压缩、归档优化解决）
OnTheRoad的博客
12-05 1万+
背景 Hive query将运算好的数据写回hdfs（比如insert into语句），有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的map task，耗费大量集群资源，而且小文件过多会对namenode造成很大压力。所以Hive在正常job执行完之后，会起一个conditional task，来判断是否需要合并小文件，如果...
hive中的json串和map结构的取数区别
iilegend的博客
01-15 3816
hive中的json串和map结构的取数区别 hive中如果定义的是json串，那么取数据用这种处理： get_json_object(params,'$.user_id') 如果是map<string,string>结构，那么取数据这样处理 params['user_id'] 那么我们想要统一将json串转成map结构，便于取数方便。这种怎么处理？ 第一种方式就是暴力的解析字符串，用正则的方式匹配： select pt_day, uid,point, str_t
hive优化【增加执行的map数,reduce数】
cajeep2001的专栏
07-30 8143
hive中的启动的map数据量，以及reduce的数据量，都是由系统给控制的，一般来说，map的数据量是由文件的个数，以及文件量的大小所决定。如果你的文件很多，那么每个文件必然会启动一个map进行处理，或者你的文件非常大，是hdfs中block_size的N倍，那么就会分成N个文件，同样会启动N个map进行处理。而reduce的数据量则是根据你的key多少来决定的，一旦你的map生成的key非常多
hive如何确定map数量和reduce数量?
鸭梨的博客
11-29 3472
因为Hive底层就是MR,所以问题实际是MR如何确定map数量和reduce数量. map数量 map数量 逻辑如下 map数量=split数量 split数量=文件大小/split size splitszie=Math.max(minSize, Math.min(maxSize, blockSize)) 文件大小是固定的,所以关键是split size的确定,split size一般和块大小一样的,如果不设置的话,就是128M 举个例子 a) 假设input目录下有1个文件a,大小为780M,
Hive设置map和reduce的个数
热门推荐
B11050101的博客
12-08 2万+
一、控制hive任务中的map数: 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；
hive设置map和reduce数
03-21
Hive中可以通过以下语句来设置Map和Reduce的数量： SET mapreduce.job.maps=; SET mapreduce.job.reduces=; 其中，为你想要设置的Map或Reduce数量。这两个参数分别控制Map和Reduce任务的数量，可以根据数据量和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值