解决DataNode启动不起来原因

最新推荐文章于 2023-11-16 21:42:55 发布
最新推荐文章于 2023-11-16 21:42:55 发布
阅读量521 收藏
点赞数
文章标签： java
原文链接：https://yq.aliyun.com/articles/562839
版权

1.问题

java.io.IOException: Incompatible clusterIDs in /opt/hadoop-2.5/dfs/data: 
namenode clusterID = CID-c9aa8a82-03e1-4f1d-a6e6-ab1337908a9f; 
datanode clusterID = CID-a622e9c7-742e-41a7-bb1c-791dd3318d15


2.解决办法

 
 
vi VERSION
 
 

 
 
本文转自 素颜猪 51CTO博客，原文链接:
http://blog.51cto.com/suyanzhu/1959262
 


                

        

        




    




    

      

        

            

              
                
                  weixin_34217773
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
datanode无法启动

				
			

			

				

					Q48711的博客
				

				

					07-31
					
					452
					
				

			

		

		

			
				
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
欢迎使用Markdown编辑器
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

			
		

	



                

              
                



	

		

			

				
					
datanode启动不起来的各种原因

				
			

			

				

					diaomu5377的博客
				

				

					09-08
					
					142
					
				

			

		

		

			
				
一般在数据节点的log日志信息里能找到导致启动不起来的原因。
1.Namenode和Datanode的NamenodeID不一致
　　　　描述：一般在集群多次重新格式化HDFS之后，或者刚安装时会碰到。日志信息如下：
　　java.io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data:
　　NameNode...

			
		

	



                


  
              

                


	

		

			

				
					
Hadoop DataNode不能启动，不能全部启动

					
热门推荐

				
			

			

				

					weixin_41998650的博客
				

				

					04-04
					
					1万+
					
				

			

		

		

			
				
Hadoop DataNode不能启动，不能全部启动

			
		

	





	

		

			

				
					
datanode无法启动解决方法

				
			

			

				

					北慕辰的博客，欢迎各位大佬光临！！
				

				

					05-18
					
					1349
					
				

			

		

		

			
				
今天运行了hadoop,在执行start-all.sh了后jps没有datanode？？？
查看了日志后发现datanode地址解析出错了，，？？

然后查看主机和个节点的hosts配置发现没有错，那么这是怎么回事尼？
最后决定重新格式化一下看看，首先删除了主机以及各个节点的tmp目录里的内容，再重新格式化hdfs namenode -format 后就又好了，神奇！
查看子节点的jps


...

			
		

	



		

			
		



	

		

			

				
					
常见问题:DataNode启动不起来

				
			

			

				

					w15321970103的博客
				

				

					06-08
					
					513
					
				

			

		

		

			
				
常见问题总结

			
		

	





	

		

			

				
					
Hadoop datanode重新加载失败无法启动解决.docx

				
			

			

				

					09-26
				

			

		

		

			
				
在解决datanode加载失败的问题时，需要重置datanode和namenode的相关文件，这包括VERSION文件和其他动态加载的文件。只有这样，datanode才能正常加载。  知识点5: Hadoop分布式安装中的配置文件  在Hadoop分布式安装...

			
		

	





	

		

			

				
					
启动Hadoop后 没有DataNode进程 的解决方法

				
			

			

				

					09-30
				

			

		

		

			
				
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！

			
		

	





	

		

			

				
					
Hadoop datanode启动失败：Hadoop安装目录权限的问题

				
			

			

				

					07-29
				

			

		

		

			
				
### Hadoop Datanode启动失败：Hadoop安装目录权限问题详解  #### 一、问题背景与现象  在部署Hadoop集群的过程中，...通过以上步骤和建议，可以有效地解决Hadoop Datanode启动失败的问题，并确保Hadoop集群稳定运行。

			
		

	





	

		

			

				
					
无法启动hive

				
			

			

				

					01-07
				

			

		

		

			
				
安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式...

			
		

	





	

		

			

				
					
hadoop常见问题及解决方法

				
			

			

				

					12-23
				

			

		

		

			
				
解决方法：NameNode启动时，首先进入安全模式，如果DataNode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统一直处于安全模式状态，即只读状态。可以通过dfsadmin -safemode leave命令强制离开...

			
		

	





	

		

			

				
					
datanode不能启动的解决方案

					
最新发布

				
			

			

				

					hk3245393838的博客
				

				

					11-16
					
					1789
					
				

			

		

		

			
				
【代码】datanode不能启动的解决方案。

			
		

	





	

		

			

				
					
启动hadoop时，datanode启动不起来的问题

				
			

			

				

					pure_light's Blog
				

				

					07-07
					
					1590
					
				

			

		

		

			
				
2017-07-07 00:13:11,629 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to F22/192.168.221.128:9000. Exiting. java.io.IOE

			
		

	





	

		

			

				
					
datanode 启动不了

				
			

			

				

					Code First
				

				

					03-21
					
					595
					
				

			

		

		

			
				
2018-03-21 12:07:07,545 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /workspace/hadoop/dfs/data/in_use.lock acquired by nodename 20317@cuishizhou01
2018-03-21 12:07:07,547 WARN org.apache

			
		

	





	

		

			

				
					
Hadoop启动的时候，发现Datanode启动不了，解决办法

				
			

			

				

					花语无痕的博客
				

				

					05-20
					
					328
					
				

			

		

		

			
				
（1）现象：
#jps
看不到DataNode
（2）可能原因：
datanode的clusterID 和 namenode的clusterID 不匹配。
（3）解决办法：
找到data和name配置的dir路径，找到hdfs-site.xml文件（cd hadoop-2.6.5/etc/hadoop/）
<?xml version="1.0"?>
<?xml-styleshee...

			
		

	





	

		

			

				
					
datanode 启动不了 原因

				
			

			

				

					知其然知其所以然
				

				

					12-09
					
					1435
					
				

			

		

		

			
				
查看日志：/home/nbu/xu/hadoop/logs/
vi hadoop-nbu-datanode-hadoop211.log 



ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/nbu/xu/app/had

			
		

	





	

		

			

				
					
DataNode无法启动的原因

				
			

			

				

					说文科技，做有态度的研究。
				

				

					05-06
					
					7363
					
				

			

		

		

			
				
DataNode无法启动的原因

1.可能的原因有如下几个：


1.多次执行./hadoop namenode -format命令，导致出错。
解决办法：到安装hadoop目录下，：例如笔者的目录是：/usr/local/hadoop-2.6.4/etc/hadoop。查看core-site中的如下配置：


&lt;property&gt;
        &lt;name&gt;hadoop...

			
		

	





	

		

			

				
					
datanode节点启动不起来

				
			

			

				

					A3213383291的博客
				

				

					03-15
					
					4213
					
				

			

		

		

			
				
datanode启动不了）
原因：datanode的数据节点启动不起了，大多数情况下就是执行==./hadoop namenode -format==命令，导致出错。
解决办法：找到Hadoop的安装目录的tmp 目录，删除tmp目录或者找到tmp目录下hdfs/data将其删除，然后再重新执行一次格式化命令就可以启datadnode节点了

...

			
		

	





	

		

			

				
					
Hadoop启动不了datanode

				
			

			

				

					beatlinux的博客
				

				

					06-18
					
					207
					
				

			

		

		

			
				
检查dfs目录下datanode和namenode他们VERSION文件中clusterID是否一致，改成一样，done!





			
		

	





	

		

			

				
					
hadoop datanode启动不了

				
			

			

				

					10-09
				

			

		

		

			
				
对于hadoop datanode启动不了的问题，有一些常见的原因和解决方法可以尝试。请按照以下步骤进行排查：  1. 确认Hadoop配置文件的正确性：检查`hdfs-site.xml`和`core-site.xml`文件中的配置是否正确，特别是`dfs....

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值