hive reduce 个数

最新推荐文章于 2021-07-07 14:44:57 发布
最新推荐文章于 2021-07-07 14:44:57 发布
阅读量727 收藏
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weihongrao/article/details/17606781
版权

hive在执行一个HQL产生的MR JOB的时候默认是以以下方式决定reducer的个数的，

N=min(参数2，总输入数据量/参数1)
第一个参数 默认为1000^3 ： hive.exec.reducers.bytes.per.reducer
第二个参数 默认为999 ：hive.exec.reducers.max（默认为999）

可以手动设置这个值set mapred.reduce.tasks=1000



 


                

        

        

    




    

      

        

            

              
                
                  韩王-信
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
hive的一些关于设置map和reduce的参数

				
			

			

				

					11-20
				

			

		

		

			
				
hive的一些关于设置map和reduce的参数

			
		

	



                

              
                



	

		

			

				
					
Hive实战系列调优之调整Reduce个数

				
			

			

				

					qq_30003943的博客
				

				

					10-31
					
					1157
					
				

			

		

		

			
				
相比map个数的控制复杂性，reduce个数的设定要相对简单多了，reduce的个数一般最后决定了输出文件的个数，二者相等，如果想多输出文件的个数（这样文件变小，但有可能程序变慢），那么可以人为增加reduce个数。如果想减少文件个数，也可以手动较少reduce个数(同样可能程序变慢）。但实际开发中，reduce的个数一般通过程序自动推定，而不人为干涉，因为人为控制的话，如果使用不当很容易造成结果不准确，且降低执行效率。
参数控制个数：


set mapred.reduce.tasks ; -- 默认值为

			
		

	



                


  
              

                


	

		

			

				
					
hive优化之控制hive任务中的reduce数

				
			

			

				

					bingyu0046的专栏
				

				

					04-21
					
					533
					
				

			

		

		

			
				
1.    Hive自己如何确定reduce数： 
reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：
hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） 
hive.exec.reducers.max（每个任务最大的redu

			
		

	





	

		

			

				
					
reduce方法实现数组去重和统计个数

				
			

			

				

					Su__py的博客
				

				

					07-07
					
					784
					
				

			

		

		

			
				
标题 js数据的去重和统计个数
我们用reduce方法来解决这两个问题，首先我们需要知道reduce方法的定义，reduce() 方法接收一个函数作为累加器，数组中的每个值（从左到右）开始缩减，最终计算为一个值。下面直接看例子：
        const arr=[1,1,2,3,3,4,4,5,5,6]
        // 数组去重
        const sum=arr.reduce((prev,cur)=>{
            if(prev.indexOf(cur) === -1

			
		

	



		

			
		



	

		

			

				
					
[hive] 总结hive只能有一个reduce运行的情况及改善方法

				
			

			

				

					朱同学的博客
				

				

					11-16
					
					3541
					
				

			

		

		

			
				
推荐
hive的调优手段总结
hive在什么情况下只能有一个reduce运行
有时不管怎么设置调整reduce个数的参数，任务中一直都只有一个reduce任务,此时所有数据都发往一个reduce会导致任务执行缓慢甚至失败,因此实际工作过程中要尽量避免这种情况的发生.
有以下情况会导致只有一个reduce执行任务:
1    使用udtf聚集函数却没带group by
比如
select count...

			
		

	





	

		

			

				
					
MapReduce过程卡在reduce处的67%

				
			

			

				

					小马过河
				

				

					07-11
					
					4447
					
				

			

		

		

			
				
MapReduce过程卡在reduce处的67%

原网址： 
https://stackoverflow.com/questions/19592744/hadoop-reduce-stops-running 
reduce过程的百分比与对应的处理如下： 
- 0~33%是shuffle的过程，数据从mapper已到了reducer 
- 33~67%是sort的过程，这个过程只会在mapper完...

			
		

	





	

		

			

				
					
hadoop 程序在运行时 reduce过程卡在某个进度不动的问题

				
			

			

				

					xp152167的博客
				

				

					10-21
					
					7650
					
				

			

		

		

			
				
今天写好hadoop 程序之后，进行线上测试，驶入数据为一个hive表的文件，location到了一个hdfs目录下，然后跑hadoop的过程中，map阶段没有出现问题，但是每次到了reduce阶段，进度都卡在33%不动了，刚开始以为是集群问题，后来重新启动了几次任务，都是这种情况。
可能的情况1：
后来在stackoverflow上找到了答案，这是hadoop上数据倾斜造成的问题（我的hiv

			
		

	





	

		

			

				
					
Mapreduce运行67%异常解决

				
			

			

				

					流云晨风
				

				

					10-17
					
					1582
					
				

			

		

		

			
				
错误信息如下：

经查询为比较器方法调用错误
	//错误代码为：	job.setSortComparatorClass(ReduceGroupComparetor2.class);	//修改为
	job.setGroupingComparatorClass(ReduceGroupComparetor2.class);然后就可以正常运行了
详细代码如下：
package com.zhiyo

			
		

	





	

		

			

				
					
Map和Reduce 个数如何确定

				
			

			

				

					weixin_42410172的博客
				

				

					07-23
					
					3243
					
				

			

		

		

			
				
基于org.apache.hadoop.mapreduce包新版API
一、Map
1、Map个数的确定
map的个数等于split的个数。我们知道，mapreduce在处理大文件的时候，会根据一定的规则，把大文件划分成多个，这样能够提高map的并行度。
划分出来的就是InputSplit，每个map处理一个InputSplit.因此，有多少个InputSplit，就有多少个map数。
2、谁负责...

			
		

	





	

		

			

				
					
mapreduce 作业中 map/reduce 个数的计算

				
			

			

				

					秀才的专栏
				

				

					12-30
					
					966
					
				

			

		

		

			
				
1. 问题描述

当在hadoop集群提交mapreduce作业时，map 和 reduce 的个数是如何计算的？



2. map个数的计算

2.1map个数的计算和分片大小（splitSize）是有关系的,所以我们先看看splitSize的计算公式：

long splitSize =  Math.max(minSize, Math.min(maxSize, bloc...

			
		

	





	

		

			

				
					
HIVE查询优化

				
			

			

				

					01-07
				

			

		

		

			
				
Hive QL的执行本质上是MR任务的运行，因此优化主要考虑到两个方面：Mapreduce任务优化、SQL语句优化 一、Mapreduce任务优化 1、设置合理的task数量（map task、reduce task） 这里有几个考虑的点，一方面Hadoop MR ...

			
		

	





	

		

			

				
					
Hive原理分析

				
			

			

				

					02-24
				

			

		

		

			
				
在开始了解hive之前，需要了解一些知识或者概念，可以更好的理解hive实现原理GoogleMapReduce是Google基于函数式编程map（映射），reduce（化简）提出的一种分布式编程模型，在模型中隐藏了分布式集群的实现细节，交...

			
		

	





	

		

			

				
					
Hive性能优化

				
			

			

				

					01-27
				

			

		

		

			
				
jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop...

			
		

	





	

		

			

				
					
hive调优

				
			

			

				

					01-07
				

			

		

		

			
				
背景：map完产生了很多中间文件，被保存在磁盘上，然后等待reduce通过网络来拉取，如果开启map输出阶段压缩，可以减少Map和Reduce间的数据传输量。 1）开启hive中间传输数据压缩功能 set hive.exec.compress....

			
		

	





	

		

			

				
					
hive上删除列

					
热门推荐

				
			

			

				

					韩王-信
				

				

					09-05
					
					3万+
					
				

			

		

		

			
				
hive上删除列 很简单 replace 就好，但是只是在元数据中删除了而已，其实并没有改动hdfs上的数据文件


hive> select * from product;
OK
id      name
1       apple
2       samsung
3       moto
1       apple

执行删除列：
hive> alter table p

			
		

	





	

		

			

				
					
hive 加载数据后在HDFS上的文件及其整合

				
			

			

				

					韩王-信
				

				

					09-05
					
					4918
					
				

			

		

		

			
				
.建一个表，没有任何数据，在hdfs 上也没有对应的数据文件


hive> select * from product;
OK
id      name
Time taken: 0.104 seconds
hive> dfs  -ls  /user/hive/warehouse/psi.db/product;
hive>



从本地加载一个文件到该表：
hive> l

			
		

	





	

		

			

				
					
hive 维度表更新

				
			

			

				

					韩王-信
				

				

					12-19
					
					4410
					
				

			

		

		

			
				
因为hadoop/hive本质上不支持更新，所以hive不能够采用update行级别的维度数据的更新。可以采用的变通的方式我总结有以下三种。


hive和hbase结合
我认为这是首选的方式，hbase本质上也是不支持行级更新，只不过是追加行加上时间戳，然后取最新的时间戳的数据而已，但是对于我们来说是透明的。可以在hbase中建立一张表，然后在hive中也建立这张维度表，再hive中将这

			
		

	





	

		

			

				
					
hive 类型转换

				
			

			

				

					韩王-信
				

				

					09-02
					
					3010
					
				

			

		

		

			
				
hive> select cast(19 as string)  from org limit 1;

			
		

	





	

		

			

				
					
hive 影响reduce 个数的参数

				
			

			

				

					韩王-信
				

				

					10-24
					
					1650
					
				

			

		

		

			
				
[root@hadoop ~]# hive -e "set" | grep reduce

Logging initialized using configuration in jar:file:/usr/hadoop/hive-0.11.0/lib/hive-common-0.11.0.jar!/hive-log4j.properties
Hive history file=/tmp/ro

			
		

	





	

		

			

				
					
hive设置map和reduce数

					
最新发布

				
			

			

				

					03-21
				

			

		

		

			
				
Hive中可以通过以下语句来设置Map和Reduce的数量：

SET mapreduce.job.maps=<number>;
SET mapreduce.job.reduces=<number>;

其中，<number>为你想要设置的Map或Reduce数量。这两个参数分别控制Map和Reduce任务的数量，可以根据数据量和计算资源来进行调整。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值