Task failed to report status for 1200 seconds. Killing!老碰到这种问题怎么解

最新推荐文章于 2022-09-27 09:23:32 发布
最新推荐文章于 2022-09-27 09:23:32 发布
阅读量689 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zh515858237/article/details/71075243
版权 
这个问题比较恶心，五一期间我调试了半天，包括将hadoop集群的timeout时间设置为超大，结果还是报下面的错
Task attempt_201705011003_0043_m_000094_0 failed to report status for 1200 seconds. Killing!
后来尝试了python的性能分析工具，去查找每行的性能，结果发现最耗时的是全角转半角和半角转全角函数，把这两行注释掉，再跑，还是报上面的那个错，服了
 

最后的解决方法也是最搞笑的方法，那就是在处理每行数据时，如果length($line)超过20000，就跳过。
 

再重新跑job，成功

                

        

        

    

  


    

      

        

            

              
                
                  hit56笔记
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
Doris浅略介绍 +部署+使用

				
			

			

				

					weixin_43159653的博客
				

				

					01-04
					
					1万+
					
				

			

		

		

			
				
DORIS 部署 +使用 +扩容 BE节点，学习记录doris 遇到的坑以及学习过程；

			
		

	



                

              
                



	

		

			

				
					
记录apache doris使用过程中出现的问题

				
			

			

				

					qq_31866793的博客
				

				

					10-28
					
					3万+
					
				

			

		

		

			
				
1，执行创建语句过程中出现：

[Err] 1064 - errCode = 2, detailMessage = Failed to find enough host in all backends. need: 3

原因：

语句中指定了PROPERTIES("replication_num" = "3");

结果BE只有2个：





查看对应节点的日志：.

==> ./be.WARNING.log.20200921-141304 <==
W1026 18:13:39.1399..

			
		

	



                


  
              

                


	

		

			

				
					
hadoop之failed task和killed task

				
			

			

				

					张伟的专栏
				

				

					12-08
					
					1984
					
				

			

		

		

			
				
failed task可理解为自杀，也就是task本身出了问题而自杀；killed task可理解为是他杀，也就是jobtracker认为这个任务的执行是多余的，所以把任务直接杀掉。failed task再次调度时不会在那些曾经失败的节点上运行，而killed task则可能被再次调度到任何一个节点上（包括曾经失败多的节点）.起初用hadoop的时候经常在一个complete的job中看到...

			
		

	





	

		

			

				
					
Doris安装问题记录连续更新

				
			

			

				

					南风知我意
				

				

					09-18
					
					1515
					
				

			

		

		

			
				
记录doris安装遇到的问题
1.ErrMsg: invalid cluster id. ignore.
2.Failed to find enough host in all backends
3.端口冲突问题（doris和yarn混合部署）

			
		

	



		

			
		



	

		

			

				
					
Task failed task_1641530057069_0002_m_000000

				
			

			

				

					weixin_42698464的博客
				

				

					01-07
					
					1791
					
				

			

		

		

			
				
问题描述：

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput

输出文件没有内容。

解决办法：

修改默认配置文件“mapred-default.xml”


<property>
  <name>mapreduce.task.timeout</name>

			
		

	





	

		

			

				
					
[-] Failed to load plugin from /usr/share/metasploit-framework/plugins/db_autopwn: No classes were l...

				
			

			

				

					weixin_33699914的博客
				

				

					11-05
					
					962
					
				

			

		

		

			
				
　问题详情

　　然后，执行，出现如下问题，则说明大家的这个文件，下载不是完整的或者你上传不完整。

msf > load db_autopwn
[-] Failed to load plugin from /usr/share/metasploit-framework/plugins/db_autopwn: No classes were l...

			
		

	





	

		

			

				
					
Puppeteer开发过程中遇到的问题及解决方案

				
			

			

				

					m0_67402823的博客
				

				

					03-08
					
					6184
					
				

			

		

		

			
				
工欲善其事必先利其器，请先检查本机是否安装NodeJS环境以及查阅API：
Google官方文档：https://developers.google.com/web/tools/puppeteer
API（v12.0.1）文档：https://pptr.dev/#?product=Puppeteer&version=v12.0.1&show=outline
问题：如何处理各种验证码？
解决方案：建议大家去搜索对应的解决方案，Puppeteer并无此类解决方案。
问题：某些网站做了JS防爬检测

			
		

	





	

		

			

				
					
安装，使用hadoop集群遇到的坑(vSphere虚拟化环境)

				
			

			

				

					Me.Show
				

				

					05-13
					
					2688
					
				

			

		

		

			
				
vSphere安装hadoop集群遇到的坑

（文章不定期更新）

1 环境概述

服务器：LENOVO ThinkServer RD540 
虚拟化环境：Esxi5.5 
Linux系统：Ubuntu 16.04LTS

2 坑

2.1 Esxi时断时连

装好Esxi后，在vSphere界面初步安装环境，却发现时断时连。如下图： 
  
 在连接过程中时不时会抛出异常。

而且在传输大文件必...

			
		

	





	

		

			

				
					
FlinkX 1.11 提交作业源码分析

				
			

			

				

					StormWangxhu的博客
				

				

					11-28
					
					1248
					
				

			

		

		

			
				
FlinkX 1.11 源码分析
FlinkX 启动
作业提交
Flink 1.11 作业提交细节
在类YarnClusterDescriptor中，调用方法deployInternal()
/**
     * This method will block until the ApplicationMaster/JobManager have been deployed on YARN.
     *
     * @param clusterSpecification Initial cluster s

			
		

	





	

		

			

				
					
Hive： Task failed task_ Job failed as tasks failed. failedMaps:1 failedReob failed as tasks failed

				
			

			

				

					Joseph25的博客
				

				

					05-16
					
					1510
					
				

			

		

		

			
				
beeline在插入大批量的数据时报错，但是hive能插入

改为插入之前先查询一下，报出错误：GC overhead limit exceeded

这就好多了，不就是jvm内存溢出了嘛，因为hive能插入，所以不用改hive-site.xml配置文件，只改hive-env.sh就行，打开HADOOP_HEAPSIZE并调大，if语句中也跟着改


if [ "$SERVICE" = "cli" ]; then
   if [ -z "$DEBUG" ]; then
     export HADOOP_

			
		

	





	

		

			

				
					
解决执行MapReduce代码是报如下错误: Job job_1607082280342_0001 failed with state FAILED due to: Task failed task_

				
			

			

				

					LBJ_小松鼠的博客
				

				

					12-04
					
					7467
					
				

			

		

		

			
				
我们再执行MapReduce代码时报了一个如下的错误: Job job_1607082280342_0001 failed with state FAILED due to: Task failed task_1607082280342_0001_r_000000  Job failed as tasks failed. failedMaps:0 failedReduces:1
Job job_1607082280342_0001 failed with state FAILED due to: Task 

			
		

	





	

		

			

				
					
MindSpore-Distribute Task Failed 报错解决

				
			

			

				

					Kenji_Shinji的博客
				

				

					09-27
					
					708
					
				

			

		

		

			
				
在分布式运行环境中，需要bash启动脚本和python文件，分别如下：将下述的bash脚本另存为 run.sh将下述的脚本命名为run.py对应的rank_table如下，命名为rank_table_8pcs.json假设本地拥有8个Ascend 910设备，那么可以设置启动命令如下。

			
		

	





	

		

			

				
					
sqoop将linux服务器上的mysql数据库中的数据放到hdfs上去报错

				
			

			

				

					leezsj的博客
				

				

					07-18
					
					926
					
				

			

		

		

			
				
ERROR tool.ImportTool: Import failed: Import job failed!

or

INFO mapreduce.Job: Job job_1626609768772_0001 failed with state FAILED due to: Task failed task_1626609768772_0001_m_000001
Job failed as tasks failed. failedMaps:1 failedReduces:0

or

Caused.

			
		

	





	

		

			

				
					
Hadoop运行MapReduce任务时，异常及解决方案

				
			

			

				

					累迹的博客
				

				

					02-03
					
					1万+
					
				

			

		

		

			
				
异常代码描述
刚刚开始接触Hadoop，对于MapReduce并不时特别了解，以下记录以下纠结了一天的问题及解决方案

1、执行MapReduce任务
hadoop jar wc.jar hejie.zheng.mapreduce.wordcount2.WordCountDriver /input /output

2、跳出异常 Task failed task_1643869122334_0004_m_000000
[2022-02-03 15:10:59.255]Container killed on 

			
		

	





	

		

			

				
					
hadoop错误：Task attempt_201405291351_0001_m_000000_0 failed to report status for 744 seconds. Killing!...

				
			

			

				

					weixin_30770783的博客
				

				

					08-04
					
					1952
					
				

			

		

		

			
				
在web控制端报错误：

Task attempt_201405291351_0001_m_000000_0 failed to report status for 744 seconds. Killing!


原因是由于执行合并索引操作时间较长，所以超过了600秒的时间限制，把这个值改高点就不会报错了。在网上查了一下，解决的方法：1、修改job参数

 job.getCon...

			
		

	





	

		

			

				
					
【已解决】调用MapReduce程序INFO mapreduce.Job: Task Id : attempt_1607842602362_0032_m_000000_2, Status : FAIL

				
			

			

				

					weixin_46119343的博客
				

				

					12-19
					
					9639
					
				

			

		

		

			
				
题目
1.求每个订单中最贵的商品（GroupingComparator）
我将该数据源上次至hadoop集群中，随后调用编写好的MapReduce程序，结果报错如下：20/12/19 12:18:08 INFO mapreduce.Job: Task Id : attempt_1607842602362_0032_m_000000_2, Status : FAIL
解决流程：
我检查了一下数据源文件，我将数据源存放在一个Grouping.txt文件中，该数据源如下：

随后我把该文件上传至集群，作为调用Ma

			
		

	





	

		

			

				
					
spark on yarn 的那些坑

					
热门推荐

				
			

			

				

					跟我一起去征服
				

				

					06-08
					
					9万+
					
				

			

		

		

			
				
在公司6个节点的测试集群运行得好好的，结果也很正常，然后放上60个节点的预生产环境，我勒个擦，搞了我两天，主要是生产环境的那些家伙不配合，一个问题搞得拖啊拖
，首先是安全认证问题，截取一两个有意义的吧：
      1.没有认证
Caused by: java.io.IOException: javax.security.sasl.SaslException: GSS initiate fa

			
		

	





	

		

			

				
					
【异常问题】Hive中SQL执行mapreduce.task.timeout超时问题

				
			

			

				

					Insist
				

				

					12-14
					
					1万+
					
				

			

		

		

			
				
【异常描述】
Task with the most failures(4): 
-----
Task ID:task_1479051658015_121922_r_000000
URL:http://hnn01.ns4f.hi.ipm.nokia.com:8088/taskdetails.jsp?jobid=job_1479051658015_121922&tipid=task_14790

			
		

	





	

		

			

				
					
adb server is out of date.  killing...怎么解决

					
最新发布

				
			

			

				

					04-23
				

			

		

		

			
				
这个问题通常发生在安卓手机连接电脑时，adb 版本不兼容而导致的。可以使用以下步骤解决：  1.在电脑的命令行窗口中输入 adb version，检查 adb 的版本号。  2.打开手机的开发者选项，并启用 USB 调试模式。  3.在...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值