AttemptID:attempt_1527588965479_0001_m_000000_0 Timed out after 600 secs

最新推荐文章于 2023-06-06 18:17:28 发布
最新推荐文章于 2023-06-06 18:17:28 发布
阅读量6.9k 收藏 2
点赞数
分类专栏： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wscrf/article/details/80494960
版权
1.在用MapReduce 跑Hbase任务是出现这个从错误：  AttemptID:attempt_1380292154249_0838_m_000035_0 Timed out after 600 secsContainer killed by the ApplicationMaster.
这个问题出现的背景是：Hbase中某张表每一条都含有照片，并且照片较大。问题原因貌似跟内存有关，可能是集群的垃圾回收机制不完善所致。
临时解决办法是将hadoop-2.0.3/etc/hadoop 下的mapred-site.xml增加如下 property。（系统默认是60s，此处是80s） 
 
  
 
   <property> 
  
 
 



                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  雨轩_wscrf
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
零起步的Hadoop实践日记（内存设置调整）

				
			

			

				

					weixin_34281537的博客
				

				

					03-19
					
					97
					
				

			

		

		

			
				
今天尝试跑了一个这样的Hive SQL，跑过去30天的用户的平均步数和卡路里。

#!/bin/bash

cur_date=`date +%Y%m%d`
pasts=""
for i in `seq 30`
do
    iday=`date -d "$i days ago" +%Y%m%d`
    if [ 1 -eq $i ]
    then
        pas...

			
		

	



                

              
                



	

		

			

				
					
maptask 超时问题 Timed out after 600 secs

					
热门推荐

				
			

			

				

					败八
				

				

					11-09
					
					1万+
					
				

			

		

		

			
				
Maptask 超时问题（1）

1.Maptask超时问题情况描述

某个maptask重试四次后导致job失败，失败原因就是task超时,如下： ` AttemptID:attempt_1470311300058_6506513_m_000010_0 Timed out after 600 secs
`

mapred.task.timeout 参数说明
The number of mi...

			
		

	



                


  
              

                


	

		

			

				
					
Timeout expired after 60000milliseconds while awaiting InitProducerId

				
			

			

				

					weixin_59295776的博客
				

				

					06-06
					
					834
					
				

			

		

		

			
				
将Kafka unclean leader参数设置为true先选举出主分片,后续修改server配置，将最小ISR数量变更为2。Kafka集群有一台节点磁盘坏了,partition无法选主,导致flink任务无法写Kafka。

			
		

	





	

		

			

				
					
Hive 任务重试导致结果错误的原因分析及处理方法

				
			

			

				

					houzhizhen的专栏
				

				

					05-16
					
					583
					
				

			

		

		

			
				
Map 任务中的数据使用随机数作为分区函数时，相同的数据每次执行不固定到相同的 Reduce 处理。导致 Map 任务出错重试，或者推测执行时，两次执行导致部分数据丢失。

			
		

	



		

			
		



	

		

			

				
					
Hive 优化-参数设置

				
			

			

				

					fengzheku的专栏
				

				

					12-14
					
					6360
					
				

			

		

		

			
				
参考链接：

https://blog.csdn.net/WYpersist/article/details/79797075
	https://blog.csdn.net/baidu_29843359/article/details/46967473
	http://blog.sina.com.cn/s/blog_6ff05a2c010178qd.html map数的计算
	https://bl...

			
		

	





	

		

			

				
					
HiveQL中如何排查数据倾斜问题

				
			

			

				

					qq_24271537的博客
				

				

					01-28
					
					197
					
				

			

		

		

			
				
转https://blog.csdn.net/u010010664/article/details/79731044


数据倾斜的现象:

会导致的问题

可能会导致下面2个问题

1）某个reduce task，卡在99.9%半天不动。如下





2）任务超时被杀掉

Reduce处理的数据量巨大，在做full gc的时候，stop the world。导致响应超时，超出默认的600秒，任务被杀掉。报错信息



AttemptID:attempt_1498075186313_242232_r_0.

			
		

	





	

		

			

				
					
attempt_9_ideal_test.rar_Demand-response_There And Now_Tricity_d

				
			

			

				

					07-14
				

			

		

		

			
				
In regulation there are quieter periods and more active ones. Present times appear to demand a particularly active regulatory response. Energy—and elec- tricity in particular—has recently become a ...

			
		

	





	

		

			

				
					
重新尝试：:crossed_fingers:给您的功能另一个机会

				
			

			

				

					02-19
				

			

		

		

			
				
重新尝试  reattempt是用于浏览器和Node.js的现代JavaScript库，它使您可以在异步函数失败时重试-因为某些函数应该获得第二次机会，或者第三次甚至几十次左右。   :open_book: 目录 强调  :rocket: 非常轻量级：〜...

			
		

	





	

		

			

				
					
pso.zip_Economic load_lambda iteration_linear system_pso Optimal

				
			

			

				

					09-14
				

			

		

		

			
				
The economic load dispatch plays an important role in the operation of power ... Here, an attempt has been made to find out the minimum cost by using PSO using the data of three and six generating units

			
		

	





	

		

			

				
					
DBSCAN.rar_DBSCAN_birch cluster_clustering_hierarchical cluster_

				
			

			

				

					09-23
				

			

		

		

			
				
 An advantage of Birch is its ability to incrementally and dynamically cluster incoming, multi-dimensional metric data points in an attempt to produce the best quality clustering for a given set of ...

			
		

	





	

		

			

				
					
RportSharp1.rar_Market Equilibrium_The First_demand supply_equil

				
			

			

				

					09-20
				

			

		

		

			
				
This report is an attempt to give us some ideas about linear static model and how to use it in market model. We will use first analytical method to find the relationship between the price and quantity...

			
		

	





	

		

			

				
					
hadoop报错总结01

				
			

			

				

					李孟的博客
				

				

					11-27
					
					1546
					
				

			

		

		

			
				
 

1.进行矩阵计算的时候，由于持续时间长，往往会出现超时的错误，错误内容如下： INFO mapreduce.Job: Task Id : attempt_1422500209602_0008_m_000000_0, Status : FAILED

AttemptID:attempt_1422500209602_0008_m_000000_0 Timed out after 600 secs...

			
		

	





	

		

			

				
					
AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs

				
			

			

				

					九师兄
				

				

					05-15
					
					3026
					
				

			

		

		

			
				
背景
做kylin 的时候，执行了 hive的命令，是hive数据的重新分布
结果在reduce的时候阻塞了。

查看原因为

AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs


这个问题出现的背景是：商品表 txt文件 5.4G  一共1亿数据
类别表 17M    100万条数据
临时解决办法是...

			
		

	





	

		

			

				
					
大数据下Hadoop及Hbase使用中遇到的若干问题及汇总

				
			

			

				

					qq_22548549的博客
				

				

					05-24
					
					658
					
				

			

		

		

			
				
项目说明首先需要说明的是hadoop集群的情况。一共有5台服务器，其中一台作为namenode，另四台是datenode节点。项目具体什么内容不便透露，但是用hadoop集群跑了12个小时，跑完的结果文件有280G，共几亿条数据，也算和大数据沾点边吧。写这篇博客的目的也是为了记录下期间遇到的问题及解决办法，不至于以后再用的时候仍是一片茫然。hadoophadoop的基本概念这里不做介绍。首先说明的是

			
		

	





	

		

			

				
					
hive MapReduce Timed out after 600 secs

				
			

			

				

					yisun123456的博客
				

				

					10-21
					
					2092
					
				

			

		

		

			
				
mapred.task.timeout参数说明
	
	该参数默认为 600秒（60000 ms） 。 如果map或reduce方法在600秒内没有返回或，TaskTracker将认为相应的task已经死亡。 并向JobTracker汇报错误。JobTracker会kill 当前task，并在其他节点上重新执行它。如果多次尝试均失败，那整个job就失败返回
可以调节该参数在当前任务中的数值，set mapred.task.timeout=1800000; (60000*30) 300min
...

			
		

	





	

		

			

				
					
mapreduce在yarn上运行，Container killed by the ApplicationMaster, Exit code is 143

				
			

			

				

					Asa_Prince的博客
				

				

					03-28
					
					1719
					
				

			

		

		

			
				
mapreduce 程序在yarn上运行时报错，报错信息具体如下：


.....

[2021-03-28 17:38:50.081]Container killed on request. Exit code is 143
[2021-03-28 17:38:50.085]Container exited with a non-zero exit code 143. 

2021-03-28 17:38:57,155 INFO mapreduce.Job: Task Id : attempt_16169

			
		

	





	

		

			

				
					
Spark——成功解决java.util.concurrent.TimeoutException: Futures timed out after [600 seconds]

				
			

			

				

					笑看风云路的博客
				

				

					06-06
					
					1912
					
				

			

		

		

			
				
最近真是和Spark任务杠上了，业务团队说是线上有个Spark调度任务出现了广播超时问题，根据经验来看应该比较好解决。在进行Spark 任务开发中需要合理配置和参数，并配合，使作业能够顺利执行。

			
		

	





	

		

			

				
					
找不到或无法加载主类 org.apache.sqoop.sqoop

				
			

			

				

					wscrf的博客
				

				

					05-04
					
					5443
					
				

			

		

		

			
				
错误：找不到或无法加载主类 org.apache.sqoop.sqoop我从网上搜索答案，说把sqoop的lib目录下的sqoop的jar包放到hadoop的lib下，或者放到share/hadoop/yarn下，其实这种说法是片面的！因为到1.4.5及以后版本安装包的lib下就已经没有了sqoop-1.4.5.jar或者sqoop-1.4.6.jar.解决方法：1.sqoop-1.4.x.tar...

			
		

	





	

		

			

				
					
23/06/07 17:19:28 INFO mapreduce.Job: Task Id : attempt_1686128528321_0001_m_000016_2, Status : FAILED AttemptID:attempt_1686128528321_0001_m_000016_2 Timed out after 300 secs 23/06/07 17:19:28 INFO mapreduce.Job: Task Id : attempt_1686128528321_0001_m_000014_2, Status : FAILED AttemptID:attempt_1686128528321_0001_m_000014_2 Timed out after 300 secs

					
最新发布

				
			

			

				

					06-08
				

			

		

		

			
				
它们指示两个任务（ID为attempt_1686128528321_0001_m_000016_2和attempt_1686128528321_0001_m_000014_2）已经超时，因此失败了。可能是因为这些任务需要更长的时间来完成，但是由于超时限制，它们被强制终止了。要...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值