【hadoop-1.0】：启动hadoop时，log中出现：java.io.IOException: NameNode is not formatted.

最新推荐文章于 2020-10-28 15:50:40 发布
最新推荐文章于 2020-10-28 15:50:40 发布
阅读量221 收藏
点赞数
分类专栏： hadoop-1.0 文章标签： java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liwei_good/article/details/84523257
版权

1、启动Hadoop

[plain]   view plain copy
  1. ubuntu@ubuntu:~/hadoop-1.0.4/bin$ ./start-all.sh   
  2. starting namenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-namenode-ubuntu.out  
  3. localhost: starting datanode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-datanode-ubuntu.out  
  4. localhost: starting secondarynamenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-secondarynamenode-ubuntu.out  
  5. starting jobtracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-jobtracker-ubuntu.out  
  6. localhost: starting tasktracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-tasktracker-ubuntu.out  

2、访问localhost:50070失败，说明namenode启动失败
3、查看namenode启动日志

[plain]   view plain copy
 
  1. ubuntu@ubuntu:~/hadoop-1.0.4/bin$ cd ../logs  
  2. ubuntu@ubuntu:~/hadoop-1.0.4/logs$ view hadoop-ubuntu-namenode-ubuntu.log  
  3. /************************************************************  
  4. STARTUP_MSG: Starting NameNode  
  5. STARTUP_MSG:   host = ubuntu/127.0.1.1  
  6. STARTUP_MSG:   args = []  
  7. STARTUP_MSG:   version = 1.0.4  
  8. STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012  
  9. ************************************************************/  
  10. 2013-01-24 07:05:46,936 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties  
  11. 2013-01-24 07:05:46,945 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.  
  12. 2013-01-24 07:05:46,945 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).  
  13. 2013-01-24 07:05:46,945 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started  
  14. 2013-01-24 07:05:47,053 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.  
  15. 2013-01-24 07:05:47,058 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!  
  16. 2013-01-24 07:05:47,064 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.  
  17. 2013-01-24 07:05:47,064 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source NameNode registered.  
  18. 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: VM type       = 32-bit  
  19. 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: 2% max memory = 19.33375 MB  
  20. 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: capacity      = 2^22 = 4194304 entries  
  21. 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: recommended=4194304, actual=4194304  
  22. 2013-01-24 07:05:47,140 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=ubuntu  
  23. 2013-01-24 07:05:47,140 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=supergroup  
  24. 2013-01-24 07:05:47,140 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true  
  25. 2013-01-24 07:05:47,143 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100  
  26. 2013-01-24 07:05:47,143 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)  
  27. 2013-01-24 07:05:47,154 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean  
  28. 2013-01-24 07:05:47,169 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times   
  29. 2013-01-24 07:05:47,174 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.  
  30. java.io.IOException: NameNode is not formatted.  
  31.     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)  
  32.     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)  
  33.     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)  
  34.     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)  
  35.     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)  
  36.     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)  
  37.     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)  
  38.     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)  
  39. 2013-01-24 07:05:47,175 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: NameNode is not formatted.  
  40.     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)  
  41.     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)  
  42.     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)  
  43.     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)  
  44.     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)  
  45.     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)  
  46.     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)  
  47.     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)  

其中"2013-01-24 07:05:47,174 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: NameNode is not formatted."一行显示，namenode未初始化。
4、初始化namenode，却提示是否重新初始化namenode，于是输入Y。

[plain]   view plain copy
 
  1. ubuntu@ubuntu:~/hadoop-1.0.4$ bin/hadoop namenode -format  
  2. 13/01/24 07:05:08 INFO namenode.NameNode: STARTUP_MSG:   
  3. /************************************************************  
  4. STARTUP_MSG: Starting NameNode  
  5. STARTUP_MSG:   host = ubuntu/127.0.1.1  
  6. STARTUP_MSG:   args = [-format]  
  7. STARTUP_MSG:   version = 1.0.4  
  8. STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012  
  9. ************************************************************/  
  10. Re-format filesystem in /home/ubuntu/hadoop-1.0.4/tmp/dfs/name ? (Y or N) y  
  11. Format aborted in /home/ubuntu/hadoop-1.0.4/tmp/dfs/name  
  12. 13/01/24 07:05:12 INFO namenode.NameNode: SHUTDOWN_MSG:   
  13. /************************************************************  
  14. SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1  
  15. ************************************************************/  

5、初始化后，重新启动hadoop，localhost:50070仍然访问失败。查看namenode启动日志，依然报namenode没有初始化的错误。
6、于是删除core-site.xml配置文件中配置的tmp目录下的所有文件；
将hadoop所有服务停止；

再次启动hadoop，访问localhost:50070成功。

 

[plain]   view plain copy
 
  1. ubuntu@ubuntu:~/hadoop-1.0.4/tmp$ rm -rf *  
  2. ubuntu@ubuntu:~/hadoop-1.0.4/tmp$ cd ../bin  
  3. ubuntu@ubuntu:~/hadoop-1.0.4/bin$ ./stop-all.sh   
  4. stopping jobtracker  
  5. localhost: stopping tasktracker  
  6. no namenode to stop  
  7. localhost: stopping datanode  
  8. localhost: stopping secondarynamenode  
  9. ubuntu@ubuntu:~/hadoop-1.0.4/bin$ hadoop namenode -format  
  10. 13/01/24 07:10:45 INFO namenode.NameNode: STARTUP_MSG:   
  11. /************************************************************  
  12. STARTUP_MSG: Starting NameNode  
  13. STARTUP_MSG:   host = ubuntu/127.0.1.1  
  14. STARTUP_MSG:   args = [-format]  
  15. STARTUP_MSG:   version = 1.0.4  
  16. STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012  
  17. ************************************************************/  
  18. 13/01/24 07:10:46 INFO util.GSet: VM type       = 32-bit  
  19. 13/01/24 07:10:46 INFO util.GSet: 2% max memory = 19.33375 MB  
  20. 13/01/24 07:10:46 INFO util.GSet: capacity      = 2^22 = 4194304 entries  
  21. 13/01/24 07:10:46 INFO util.GSet: recommended=4194304, actual=4194304  
  22. 13/01/24 07:10:46 INFO namenode.FSNamesystem: fsOwner=ubuntu  
  23. 13/01/24 07:10:46 INFO namenode.FSNamesystem: supergroup=supergroup  
  24. 13/01/24 07:10:46 INFO namenode.FSNamesystem: isPermissionEnabled=true  
  25. 13/01/24 07:10:46 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100  
  26. 13/01/24 07:10:46 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)  
  27. 13/01/24 07:10:46 INFO namenode.NameNode: Caching file names occuring more than 10 times   
  28. 13/01/24 07:10:46 INFO common.Storage: Image file of size 112 saved in 0 seconds.  
  29. 13/01/24 07:10:46 INFO common.Storage: Storage directory /home/ubuntu/hadoop-1.0.4/tmp/dfs/name has been successfully formatted.  
  30. 13/01/24 07:10:46 INFO namenode.NameNode: SHUTDOWN_MSG:   
  31. /************************************************************  
  32. SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1  
  33. ************************************************************/  
  34. ubuntu@ubuntu:~/hadoop-1.0.4/bin$ ./start-all.sh   
  35. starting namenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-namenode-ubuntu.out  
  36. localhost: starting datanode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-datanode-ubuntu.out  
  37. localhost: starting secondarynamenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-secondarynamenode-ubuntu.out  
  38. starting jobtracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-jobtracker-ubuntu.out  
  39. localhost: starting tasktracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-tasktracker-ubuntu.out  

7、原来是修改了配置文件中的tmp目录后没有对hdfs做初始化，导致启动hadoop时报namenode没有初始化的错误。

Viggo.Lee
关注
专栏目录
遇到问题---Hadoop---java.io.IOException: NameNode is not formatted
直到世界的尽头
09-06 1万+
之前关闭了所以的机子，用./start-all.sh 重启之后jps检查发现namenode没有启动起来。如图：少了namenode。这时候用下面的命令去查看master机子的启动日志:cd /home/joe/hadoop/hadoop-1.2.1/libexec/../logs ls tail -f -n 800 hadoop-joe-namenode-hadoop0.log发现出现了jav
Hadoop namenode启动失败 Cannot assign requested address
qq_45677071的博客
05-13 774
在Hadoop安装目录的logs下查看日志 第一种情况：java.io.IOException: NameNode is not formatted namenode没有格式化，格式化NameNode：bin/hdfs namenode -format（第一次启动时格式化，以后就不要总格式化） 格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据，然后再格式化NameN...
【HBase数据开发】集群搭建NameNode未格式化
大壮的博客
07-22 3942
1.报错如下 Encountered exception loading fsimage java.io.IOException: NameNode is not formatted. 上午10点28:19.302分 WARN FSNamesystem Encountered exception loading fsimage java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.name
Hadoop集群启动NameNode错误 JAVA.IO.IOEXCEPTION: NAMENODE IS NOT FORMATTED
fa124607857的博客
05-21 2780
JAVA.IO.IOEXCEPTION: NAMENODE IS NOT FORMATTED. 新创建的HADOOP集群启动时报错NAMENODE没有启动成功 出现的错误: 出错的原因: hadoop集群创建完成之后 namenode没有进行初始化 解决方法 以下均是在主节点操作 我的hadoop安装目录是 : /export/install/hadoop-2.6.0-cdh5.14.0/ 1.先关闭hadoop集群 /hadoop的安装目录/sbin/stop-all.sh 示例:.
java.io.IOException: NameNode is not formatted
wxzhou的博客
10-12 4168
启动hadoop时，发现没有NameNode进程。看了日志： 2016-10-11 20:00:17,341 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped. 2016-10-11 20:00:17,341 INFO org.apache.hadoop.metrics2
java.io.IOException: NameNode is not formatted.
weixin_42240930的博客
11-01 4710
问题：/hadoop-2.7.3/logs/hadoop-root-namenode-SHELL.log显示报错java.io.IOException: NameNode is not formatted. 格式化namenode之前删除core-site.xml中hadoop.tmp.dir下内容和hdfs-site.xml中配置的namenode目录和datanode目录 关键问题来了，使...
Hadoop问题：启动hadoop时报namenode未初始化：java.io.IOException: NameNode is not formatted.
zhuxiang203的专栏
11-03 8214
1、启动Hadoop [plain] view plaincopy ubuntu@ubuntu:~/hadoop-1.0.4/bin$ ./start-all.sh    starting namenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-namen
hadoop创建两大错误：Bad connection to FS. command aborted. exception和Shutting down NameNode at hadoop
ykblog.github.io
01-24 7905
yangkai 问题目录表： Bad connection to FS. command aborted. exception: Call to localhost/127.0.0.1:8888 failed on connection exception: java.net.ConnectException: Connection refused
关于hadoop群起脚本走过的那些坑
tyh1579152915的博客
10-28 777
1、dos与unix不匹配 当脚本在远程客户端写得，或者从其它地方粘贴过来时可能会出现的问题，原因是粘贴过来的文本内容不是unix格式（一般是dos格式），需要在vi编辑器上将文件类型改为unix # 按esc，输入： :set fileformat=unix :wq 2、zookeeper或journalnode在群起脚本上启动也没有保错，很正常，但jps就是没启动 zookeeper和journalnode有点特殊，我也忘记是为啥了，反正就是群起脚本执行前要加source /etc/profi
处理CDH环境Hadoop:NameNode is not formatted
来自偶然的尘土
10-24 1826
缘由:搭建impala配置hdfs-site.xml后需要 ,重新启动整个集群(确保集群使用状况);重启后出现master无法启动 java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.jav...
启动hadoop时，namenode无法启动，log中出现：java.io.IOException: NameNode is not formatted
阿珂学编程
09-22 9535
纯属作死！hadoop配置好后，一定要先格式化：hadoop namenode -format 好像hadoop datanode -format也可以执行，但是没有什么效果。不推荐执行该语句。我就是配置好hadoop后，没有执行格式化，直接执行：start-all.sh 然后发现namenode无法启动，执行jps的效果如下： 查看hadoop-chj-namenode-hadoop.l
CDH 生产环境: NameNode is not formatted问题处理
热门推荐
weixin_44202548的博客
01-15 1万+
背景 因升级JN节点，需要将JN迁移到其他机器，该节点有三台在迁移过程中我迁移其中一台。 在HDFS页面进行角色迁移，选择当前角色机器和目标机器，提示需要重启整个集群（前提是需要确保是否有人员在使用）。重启后出现错误导致HA中Master无法启动 错误信息 引导备用 NameNode Failed to bootstrap Standby NameNode NameNode (cluster-ma...
Hadoop本地运行出现:Caused by: java.io.FileNotFoundException:D:/tmp/hadoop-win2010/mapred/local/
qq_34118993的博客
09-27 1033
完美解决hadoop本地运行时出现： Caused by: java.io.FileNotFoundException: D:/tmp/hadoop-win%2010/mapred/local/localRunner/root/jobcache/job_local384849921_0001/attempt_local384849921_0001_m_000000_0/output/file.out.index 意思是临时文件没找到，手动进入电脑目录下，目录确实为空，根本没有文件，猜想就是临时文件夹建立
hadoop报错java.io.IOException: Incorrect configuration: namenode address dfs.namenode.servicerpc-addre...
weixin_33976072的博客
06-07 1143
      　　不多说，直接上干货！   问题详情             问题排查 spark@master:~/app/hadoop$ sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenod...
Hadoop NameNode is not formatted.
weixin_33749131的博客
08-26 1361
2014-08-26 20:27:22,712 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimagejava.io.IOException: NameNode is not formatted. 1、启动Hadoop hadoop@VM_160_34_c...
hadoop:start-all.sh 启动时出错
汐 朔
02-05 1万+
测试版本：hadoop0.20.2 [hadoop@Master ~]$ start-all.sh starting namenode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-namenode-Master.Hadoop.out /usr/hadoop/bin/hadoop-daemon.sh: line 117: /us
hadoop启动没有namenode节点的错误分析
风雨诗轩的博客
07-11 5279
我用的是hadoop-1.0.4，伪分布式。没有为hadoop新建用户，我直接使用root启动，当输入#hadoop namenode -format后，也没什么异常，继续往下执行， 输入#start-all.sh后，启动完后输入#jps发现没有namenode，立马去看日志，显示如下： 2017-07-11 14:18:47,407 INFO org.apache.hadoop.hdfs
[hadoop@node1 hadoop-3.3.4]$ hadoop namenode -format bash: hadoop: command not found...
最新发布
10-12
这个命令提示`hadoop: command not found`表明在当前的shell环境中，Hadoop命令行工具未被正确配置或找不到。`hadoop namenode -format` 是用于格式化Hadoop分布式文件系统（HDFS）名称节点的命令，通常在安装并配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Viggo.Lee

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值