Hadoop Job在集群上运行出现“Error initializing”错误

最新推荐文章于 2024-04-15 17:53:02 发布
最新推荐文章于 2024-04-15 17:53:02 发布
阅读量2.4k 收藏
点赞数
分类专栏： Hadoop MapReduce 文章标签： hadoop 大数据 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liusrblog/article/details/12996293
版权 
Hadoop Job在集群上运行出现Error initializing错误：

Error initializing attempt_201310091439_334992_m_000006_0:
org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find taskTracker/root/jobcache/job_201310091439_334992/job.xml in any of the configured local directories
	at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathToRead(LocalDirAllocator.java:445)
	at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathToRead(LocalDirAllocator.java:164)
	at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1438)
	at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1310)
	at org.apache.hadoop.mapred.TaskTracker.startNewTask(TaskTracker.java:2727)
	at org.apache.hadoop.mapred.TaskTracker$TaskLauncher.run(TaskTracker.java:2691)
Google了一下，其中有一篇文章说可能是硬盘空间不足、目录丢失或者硬盘错误等原因。
我想硬盘错误是不可能的，要是硬盘错误，那么集群肯定可以发现的。空间不足和目录丢失倒是有可能。
查看了一下集群上这个task的信息，下面是截图，


上图显示task在一个节点上运行失败后，在另一个节点上重新运行，最终运行成功。
 

我想产生错误的原因极有可能是硬盘空间不足。
 

网上其他的一些资料也表明我的猜测是对的。
 

由于硬盘空间不足而导致初始化出错一般发生在大数据处理的Job运行过程中，这就说的通了！
 

我问过他们管理集群的人员，他们说，“没关系，是偶尔有一些Job会发生这个错误的，但是，不影响最终运行结果。”因为任务失败后，Hadoop会自动重新启动一个，只要有一个任务运行成功就成功了。上面的截图也说明了这个问题。
 

 

 

 

 

 

 


                

        

        

    

  


    

      

        

            

              
                
                  lsrmake
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
visdom安装及报错解决方案

				
			

			

				

					一个努力吃胖的小瘦子的博客
				

				

					04-01
					
					2227
					
				

			

		

		

			
				
一、安装
1.使用conda命令安装
在命令行执行"conda install visdom"命令即可完成下载及安装（自动选择适合系统的版本）。
2.检查安装是否成功
在命令行执行"python -m visdom.server"命令即可启动visdom服务，若安装成功则点击命令行出现的链接即可跳转到浏览器窗口，显示窗体等相关组件则正确完成安装。
二、报错解决方案
1.报错提示：缺少相关包文件
在...

			
		

	



                

            
              



	

		

			

				
					
java数据的初始化失败_初始化UserDefinedJavaClass Pentaho数据集成时出错(Error initializing UserDefinedJavaClass Pentaho ...

				
			

			

				

					weixin_39716877的博客
				

				

					02-25
					
					2601
					
				

			

		

		

			
				
I set up a user defined java class that generates a row for each day within a certain timespan. If I test the class using "Test class" everything works as expected. However, when the step is actually ...

			
		

	



              


  
              

                


	

		

			

				
					
org.quartz.plugins.xml.JobInitializationPlugin] [ERROR] - Error scheduling jobs: no protocol

				
			

			

				

					hongyang070的专栏
				

				

					07-10
					
					4177
					
				

			

		

		

			
				
解决这个问题的原文：http://www.gmjjavadesigns.com/gmjd/en_US/entry/quartz_1_6_and_oc4j代码：/*  * Copyright 2004-2005 OpenSymphony  *  * Licensed under the Apache License, Version 2.0 (the "Lic

			
		

	





	

		

			

				
					
Maven学习总结（35）——Maven项目错误 JAX-RS (REST Web Services) 2.0 can not be installed问题...

				
			

			

				

					科技D人生
				

				

					03-16
					
					798
					
				

			

		

		

			
				
项目problem提示错误
JAX-RS (REST Web Services) 2.0 can not be installed : One or more constraints have not been satisfied
JAX-RS (REST Web Services) 2.0 requires Java 1.7 or newer.
将pom.xml编译插件的JDK1.6改为1...

			
		

	



		

			
		



	

		

			

				
					
Error initializing emulator: The XDS200 update cannot work if more than one XDS2xx probe is attached

				
			

			

				

					大菠萝屋
				

				

					10-08
					
					3616
					
				

			

		

		

			
				
更换成2020年的新版本CCS，再次去调试DSP程序的时候报错：Error initializing emulator: The XDS200 update cannot work if more than one XDS2xx probe is attached.
此时
选择update
继续，得到另外的提示：Error initializing emulator:
The XDS200 update cannot work if more than one XDS2xx probe is attache

			
		

	





	

		

			

				
					
hadoop 集群运行WordCount示例程序

				
			

			

				

					StormrageWang的专栏
				

				

					12-19
					
					4234
					
				

			

		

		

			
				
在博客中http://blog.csdn.net/stormragewang/article/details/41148917写到运行wordcount程序
[hadoop@Yarn-Master ~]$ hadoop/2.6.1/bin/hadoop jar hadoop/2.6.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.

			
		

	





	

		

			

				
					
Hadoop学习笔记（二）设置单节点集群

				
			

			

				

					无知人生，记录点滴
				

				

					10-07
					
					2万+
					
				

			

		

		

			
				
本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。

			
		

	





	

		

			

				
					
【Hadoop】Hadoop 2.7.6安装_伪分布式集群

				
			

			

				

					个人公众号：Alen的数据库学习笔记
				

				

					06-08
					
					5891
					
				

			

		

		

			
				
本篇主要演示在Linux上安装单节点Hadoop模式，以及伪分布式Hadoop模式。一 安装环境操作系统：Oracle Linux Server release 6.5；Java版本：java-1.7.0-openjdk-1.7.0.45；Hadoop版本：hadoop-2.7.6；二 安装前准备1 创建hadoop用户[root@strong ~]# useradd hadoop
[root@s...

			
		

	





	

		

			

				
					
hadoop词频统计报错,没解决

				
			

			

				

					wsong_14的博客
				

				

					08-21
					
					1375
					
				

			

		

		

			
				
17/08/21 19:57:34 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id 
17/08/21 19:57:34 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTrac

			
		

	





	

		

			

				
					
Windows PC上创建大数据职业技能竞赛实验环境之五--hadoop、hive和spark编程

				
			

			

				

					liu9ang的博客
				

				

					04-14
					
					941
					
				

			

		

		

			
				
前述，我们在Windows WSL上，通过Docker容器技术实现了Hadoop集群环境，现在看看利用现有集群环境进行编程开发。

1 设置容器开启时自运行SSH服务

参照docker中安装Ubuntu无法在启动时运行ssh服务的解决方案 - llCoding - 博客园 (cnblogs.com)，在我们的hadoop-spark集群镜像中添加如下内容：


vim /root/startup_run.sh 
chmod +x /root/startup_run.sh

编写startup_run.sh

			
		

	





	

		

			

				
					
Pytorch入门：visdom启动出错

				
			

			

				

					M_Z_G_Y的博客
				

				

					01-02
					
					7545
					
				

			

		

		

			
				
启动visdom：


python -m visdom.server

问题描述：


Downloading scripts. It might take a while.
ERROR:root:Error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:719) while downloading http...

			
		

	





	

		

			

				
					
PyTorch visdom 运行报错ERROR:root:Error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed

				
			

			

				

					zy1996code的博客
				

				

					03-26
					
					1758
					
				

			

		

		

			
				
报错：


➜  ~ visdom
Downloading scripts. It might take a while.
ERROR:root:Error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:777) while downloading https://unpkg.com/jquery@3.1.1/...

			
		

	





	

		

			

				
					
Tomcat+Filebeat+Kafka+Logstash+ES+Kibana日志流实现

				
			

			

				

					yangkei
				

				

					09-23
					
					5404
					
				

			

		

		

			
				
tomcat , filebeat, kafka, logstash, ES, kibana

			
		

	





	

		

			

				
					
解决启动filebeat时遇到Exiting: error unpacking config data: more than one namespace configured accessing错误

				
			

			

				

					m0_57781407的博客
				

				

					02-14
					
					6474
					
				

			

		

		

			
				
在虚拟机解压好filebeat后输入#： ./filebeat -c filebeat.yml

遇到如下问题！！！！！！



Exiting: error unpacking config data: more than one namespace configured accessing 'output' (source:'filebeat.yml')

翻译：

退出：解压缩配置数据时出错：访问“输出”时配置了多个命名空间（源：'filebeat.yml'）



解决方法：

#注意要在自己安装f

			
		

	





	

		

			

				
					
kettle 资源库 配置信息

				
			

			

				

					原创学无止尽
				

				

					03-21
					
					1万+
					
				

			

		

		

			
				
1.情况：
  昨日迁移BIEE服务器，IP地址也变更了，导致一大堆kettle transaction中的DB连接信息都需要修改，用脚本批量修改后，直接在VNC 上kettle spoon 可视化界面，运行一个transaction ，运行没问题。后在控制台，用命令行调用。却抛出异常：
INFO  20-03 18:40:07,868 - delete_all_wireless_table

			
		

	





	

		

			

				
					
Kettle运行的过程中提示IO Error:Connection reset

				
			

			

				

					weixin_41300587的博客
				

				

					06-01
					
					2721
					
				

			

		

		

			
				
Kettle运行的过程中提示IO Error:Connection reset

			
		

	





	

		

			

				
					
安装Visdom库出现由于连接方在一段时间后没有正确答复或连接的主机没有反应报错

					
最新发布

				
			

			

				

					qq_45404853的博客
				

				

					04-15
					
					1376
					
				

			

		

		

			
				
安装Visdom库出现由于连接方在一段时间后没有正确答复或连接的主机没有反应报错

			
		

	





	

		

			

				
					
Java web项目创建笔记26 之《整合kettle》

				
			

			

				

					csj50的专栏
				

				

					01-26
					
					2322
					
				

			

		

		

			
				
kettle是一个ETL工具，用于数据的抽取、转换、加载功能，我们可以在java里加载kjb文件或者ktr文件

1、pom文件添加依赖


<kettle.version>9.1.0.0-324</kettle.version>


<!-- kettle -->
<dependency>
	<groupId>pentaho-kettle</groupId>
	<artifactId>kettle-core</art

			
		

	





	

		

			

				
					
initializationerror错误的解决

					
热门推荐

				
			

			

				

					贝小木
				

				

					09-10
					
					4万+
					
				

			

		

		

			
				
initializationerror错误,升级或更换junit-jar包就可以了，个别jar包不稳定，所以尝试更换一下junit的jar基本上就能解决！

			
		

	





	

		

			

				
					
Spark安装教程：在Hadoop集群环境上部署

				
			

			

				

					
				

			

		

		

			
				
"该资源主要介绍了如何在基于VM的Hadoop架构上安装...这个过程涉及了集群环境的检查、软件版本的匹配、下载和安装、环境变量配置、文件分发以及配置文件的调整等多个环节，确保Spark能够在已有的Hadoop集群上顺利运行。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值