Hive执行SQL时卡在set mapreduce.job.reduces=＜number＞

最新推荐文章于 2023-10-08 10:05:22 发布
最新推荐文章于 2023-10-08 10:05:22 发布
阅读量3.8k 收藏 4
点赞数 2
文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xilin6664/article/details/123609397
版权

后来经过排查是由于,yarn集群启动不正确造成的.yarn的resourcemanager没有正确启动造成mr的job 不能正确提交导致卡住,不再往下执行.

解决:重新正确启动yarn集群然后.问题解决了,特此记录.

xilin6664
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hive SQL中的MapReduce有几个Reduce任务
alike_u的博客
02-28 612
源码分析 分析三个In Order to的默认值是怎么来的 1 2 3 4 5 6 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number> In order to limit the maximum number of reducers: set hive.exec.reducer
In order to set a constant number of reducers: set mapreduce.job.reduces=＜number＞卡在这里不动
Knight
09-26 2470
Query ID = root_20200922113537_352b88b7-f5e8-4865-8c1b-68a5182230ab Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks not specified. Estimated from input data size: 1 In order to change the average load for a reducer (in bytes): set hive.exe
Hive常用配置
weixin_43497444的博客
03-11 333
（1）设置reduce个数 set mapreduce.job.reduces （2）导入数据到分桶表配置 hive （default）> set hive.enforce.bucketing=true; hive （default）> set mapreduce.job.reduces=-1 （3）开启hive中间传输数据压缩功能 hive （default）>set hi...
hive优化
qq_28286027的博客
11-07 525
Map优化 通过调整脚本的参数来设置map的个数，和设置block大小，block是影响map个数的关键因素 直接设置map个数：set mapred.map.tasks=10 2.为了任务加快，有一些任务可以考虑开启compiners: Hive.map.aggr=true Reduce优化： 1.提交sql，设置的参数 原因：有一个reduce个数的计算公式，...
Hive执行hql任务时，一直卡在mapreduce提交job处
sdjkjsdh的博客
02-02 7348
问题描述： Job Submission failed with exception 'java.net.ConnectException(Call From hadoop102/192.168.161.102 to hadoop103:8032 failed on connection exception: java.net.ConnectException: 拒绝连接; For more d...
MapReduce的Shuffle优化
qq_43523503的博客
03-29 510
MapReduce的Shuffle优化： （1）map输出端： ①增加环形缓冲区的大小 默认100M，可以增加到200M ②增大环形缓冲区溢写文件的阈值 默认0.8，可以增加到0.9 ③减少对溢写文件merge次数 默认10个文件merge一次 ④不影响业务逻辑的情况下，使用Combiner预聚合 如何开启Combiner？set hive.map.aggr = true （2）reduce端： ①合理设置Map和Reduce的个数 a. Map的个数如何设置呢？ 通过参数 set mapred.max.s
Hive--参数优化、Map、Reduce Task个数优化
qq_41301707的博客
12-16 1680
Hive--优化 Hive中的执行引擎目前支持：MapReduce、Spark、Tez 本文设定的执行引擎为MapReduce 1 Hive--参数优化 Hive官网--参数 1.1 hive.fetch.task.conversion Default Value: minimal in Hive 0.10.0 through 0.13.1, more in Hive 0.14.0 and la...
Hive mapreduce的map与reduce个数由什么决定？
热门推荐
lihuazaizheli的博客
07-25 1万+
文章目录1.MapTask的数量决定2.如何来调整MapTask的数量2.1 增加map的数量 : 调小maxsize (要小于blockSize才有效,比如128M)2.2 减少map的数量 : 调大minSize （要大于blockSize才有效，比如250M）2.3生产中一般不调整，但是要知道原理。3. ReduceTask的数量决定3.1 在执行hive shell的时候可以看到下列日志3.2 官网对这三个参数的解释3.3 通过源码分析 hive是如何通过方式一 动态计算reduce的个数的4.如何
hive 优化与设置
Kukafee的博客
09-18 318
配置mapreduce.job.reduce.slowstart.completedmaps 参数 该参数默认为 0.05， 表示map执行 5%之后，开始reduce过程 如果集群资源不够，有可能导致reduce把资源全抢光，可以把这个参数调整到0.8，map完成80%后才开始reduce copy过程。 可以配置为如下： set mapreduce.job....
Hive配置和基本操作 (2).pdf
10-30
- `<name>hive.metastore.local</name>`：是否在本地运行元存储服务，设置为`false`表示使用远程服务。 - `<name>hive.metastore.uris</name>`：元存储服务的Thrift URI，通常是`thrift://localhost:9083`。 3. *...
hive-1.1.0-cdh5.7.0.tar.gz.rar
08-21
Hive将SQL查询转化为MapReduce任务，由Hadoop集群并行执行，极大地提升了数据分析的效率。 6. **Hive的性能优化** - **分区和桶表**：通过分区和桶表，可以显著提高查询性能，因为它们减少了需要扫描的数据量。 -...
HiveSQL基础（一）.pdf
12-18
HiveSQL基础（一）.pdf
hive.sql执行文件.rar
05-13
hiveSQL执行文件
hive简单使用共13页.pdf.zip
10-30
hive简单使用共13页.pdf.zip
MapReduce参数调优
m0_70949976的博客
03-02 1744
设置Map，reduce参数调优其个数，以及如何保证输出端的小文件合并等问题
【Spark】mapreduce任务参数优化
littlemichelle
09-22 2322
1、GC 首先确定是map阶段gc，还是reduce阶段gc。 reduce阶段gc，则 set mapreduce.reduce.cpu.vcores=当前值*2; set mapreduce.reduce.memory.mb=当前值*2; set mapreduce.reduce.java.opts=当前值*2; map阶段gc，则 mapreduce.map.cpu.vcores=当前值*2； mapreduce.map.memory.mb=当前值*2； mapreduce.map.ja
【硬刚Hive】Hive高级（3）：优化(3) 合理设置 Map 及 Reduce 数/并行执行/ 严格模式/JVM 重用/压缩
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 721
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 5 合理设置 Map 及 Reduce 数 1）通常情况下，作业会通过 input 的目录产生一个或者多个 map ....
Hadoop离线（hive的操作2）
weixin_42917938的博客
07-14 362
Hadoop离线 set mapreduce.job.name=hive_job名字; 1-hive表基本操作-分桶表操作 分桶，就是将数据按照指定的字段进行划分到多个文件当中去,分桶就是MapReduce中的分区. 开启 Hive 的分桶功能 set hive.enforce.bucketing=true; 设置 Reduce 个数 set mapreduce.job.reduces=3;...
调整reduce个数
最新发布
andarly的专栏
10-08 488
2）另外，有多少个reduce，就会有多少个输出文件，如果生成了很多个小文件，那么如果这些小文件作为下一个任务的输入，则也会出现小文件过多的问题；在设置reduce个数的时候也需要考虑这两个原则：处理大数据量利用合适的reduce数；使单个reduce任务处理数据量大小要合适；1）过多的启动和初始化reduce也会消耗时间和资源；（1）每个Reduce处理的数据量默认是256MB。（2）每个任务最大的reduce数，默认为1009。（3）计算reducer数的公式。设置每个job的Reduce个数。
set mapreduce.job.reduces=<number>
09-16
### 回答1： 这是一个Hadoop MapReduce的配置参数，用于设置Reduce任务的数量。其中，<number>是一个整数，表示Reduce任务的数量。这个参数的作用是控制Reduce任务的并行度，从而提高MapReduce作业的性能。一般来说，Reduce任务的数量应该根据数据量和集群资源进行调整，以达到最佳的性能和效率。 ### 回答2： 参数"set mapreduce.job.reduces=<number>"是用来设置MapReduce任务的Reduce数目的。Reduce数目是指将Map阶段的输出结果按照一定的规则进行合并和归纳的节点数目。 设置Reduce数目有以下几点要注意： 1. Reduce数目的默认值是1，即只有一个Reduce节点来处理Map阶段的输出结果。这种情况适用于数据量较小，可以在一个节点上完成Reduce计算的场景。 2. 设置合适的Reduce数目可以有效提高MapReduce任务的执行效率和性能。Reduce数目的多少需要根据具体的场景来确定。如果数据量较大，可以适当增加Reduce数目，以实现并行处理，从而加快任务的执行速度。但是，设置过多的Reduce数目可能会造成资源的浪费，因此需要根据集群的资源情况和作业的特点来合理设置。 3. Reduce数目的设置也会影响最终结果的合并速度和数据倾斜的处理。合适的Reduce数目可以平衡数据在不同Reduce节点上的分布，避免某些节点负载过大，提高整体的任务执行效率。 在设置Reduce数目时，可以根据实际情况进行试验和调整，以达到最佳的性能和效果。 ### 回答3： `mapreduce.job.reduces=<number>`是一个Hadoop MapReduce的配置参数，用于设置作业中Reduce任务的数量。 在MapReduce中，Map任务和Reduce任务是两个重要的阶段。Map任务负责将输入数据划分为多个小的数据块，并为每个数据块生成一个键值对。而Reduce任务则负责对这些键值对进行整理、归并和计算，最终生成结果。 通常情况下，默认情况下，Reduce任务的数量是根据输入数据的大小和集群的资源自动确定的。但是，有时候我们可能需要手动设置Reduce任务的数量来优化作业的性能。 设置`mapreduce.job.reduces=<number>`就是为了手动设置Reduce任务的数量。其中，`<number>`表示要设置的Reduce任务的数量。在设置Reduce任务的数量时，需要根据具体的场景综合考虑以下几个因素： 1. 输入数据规模：如果输入数据较大，可以增加Reduce任务的数量，以便更好地并行处理数据。 2. 集群资源：如果集群的资源有限，需要根据集群的可用资源来设置Reduce任务的数量，以充分利用集群资源，避免资源浪费或过度抢占资源。 3. 数据倾斜：如果输入数据存在不均衡的情况，即某些键对应的数据量过大，可以增加Reduce任务的数量，以便更好地负载均衡，避免单个Reduce任务处理过多的数据。 4. 作业性能：通过调整Reduce任务的数量，可以尝试不同的并行度配置，以获取更好的作业性能。 需要注意的是，设置Reduce任务的数量要根据实际情况进行调整和测试，不同的数据集和作业可能有不同的最佳配置。同时，过多的Reduce任务数量可能会导致资源竞争和通信开销增加，影响作业性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值