【hadoop-1.0】：启动hadoop时，log中出现：java.io.IOException: NameNode is not formatted.

最新推荐文章于 2021-10-27 23:58:13 发布
最新推荐文章于 2021-10-27 23:58:13 发布
阅读量211 收藏
点赞数
文章标签： java 大数据
原文链接：https://my.oschina.net/ddfly/blog/645393
版权

1、启动Hadoop

[plain]   view plain copy
  1. ubuntu@ubuntu :~/hadoop-1.0.4/bin$ ./start-all.sh   
  2. starting namenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-namenode-ubuntu.out  
  3. localhost: starting datanode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-datanode-ubuntu.out  
  4. localhost: starting secondarynamenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-secondarynamenode-ubuntu.out  
  5. starting jobtracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-jobtracker-ubuntu.out  
  6. localhost: starting tasktracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-tasktracker-ubuntu.out  

2、访问localhost:50070失败，说明namenode启动失败
3、查看namenode启动日志

[plain]   view plain copy
 
  1. ubuntu@ubuntu :~/hadoop-1.0.4/bin$ cd ../logs  
  2. ubuntu@ubuntu :~/hadoop-1.0.4/logs$ view hadoop-ubuntu-namenode-ubuntu.log  
  3. /************************************************************  
  4. STARTUP_MSG: Starting NameNode  
  5. STARTUP_MSG:   host = ubuntu/127.0.1.1  
  6. STARTUP_MSG:   args = []  
  7. STARTUP_MSG:   version = 1.0.4  
  8. STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012  
  9. ************************************************************/  
  10. 2013-01-24 07:05:46,936 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties  
  11. 2013-01-24 07:05:46,945 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.  
  12. 2013-01-24 07:05:46,945 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).  
  13. 2013-01-24 07:05:46,945 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started  
  14. 2013-01-24 07:05:47,053 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.  
  15. 2013-01-24 07:05:47,058 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!  
  16. 2013-01-24 07:05:47,064 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.  
  17. 2013-01-24 07:05:47,064 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source NameNode registered.  
  18. 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: VM type       = 32-bit  
  19. 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: 2% max memory = 19.33375 MB  
  20. 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: capacity      = 2^22 = 4194304 entries  
  21. 2013-01-24 07:05:47,092 INFO org.apache.hadoop.hdfs.util.GSet: recommended=4194304, actual=4194304  
  22. 2013-01-24 07:05:47,140 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=ubuntu  
  23. 2013-01-24 07:05:47,140 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=supergroup  
  24. 2013-01-24 07:05:47,140 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true  
  25. 2013-01-24 07:05:47,143 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100  
  26. 2013-01-24 07:05:47,143 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)  
  27. 2013-01-24 07:05:47,154 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean  
  28. 2013-01-24 07:05:47,169 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times   
  29. 2013-01-24 07:05:47,174 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.  
  30. java.io.IOException: NameNode is not formatted.  
  31.     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)  
  32.     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)  
  33.     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)  
  34.     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)  
  35.     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)  
  36.     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)  
  37.     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)  
  38.     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)  
  39. 2013-01-24 07:05:47,175 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: NameNode is not formatted.  
  40.     at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)  
  41.     at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)  
  42.     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)  
  43.     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)  
  44.     at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)  
  45.     at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)  
  46.     at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)  
  47.     at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)  

其中"2013-01-24 07:05:47,174 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: NameNode is not formatted."一行显示，namenode未初始化。
4、初始化namenode，却提示是否重新初始化namenode，于是输入Y。

[plain]   view plain copy
 
  1. ubuntu@ubuntu :~/hadoop-1.0.4$ bin/hadoop namenode -format  
  2. 13/01/24 07:05:08 INFO namenode.NameNode: STARTUP_MSG:   
  3. /************************************************************  
  4. STARTUP_MSG: Starting NameNode  
  5. STARTUP_MSG:   host = ubuntu/127.0.1.1  
  6. STARTUP_MSG:   args = [-format]  
  7. STARTUP_MSG:   version = 1.0.4  
  8. STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012  
  9. ************************************************************/  
  10. Re-format filesystem in /home/ubuntu/hadoop-1.0.4/tmp/dfs/name ? (Y or N) y  
  11. Format aborted in /home/ubuntu/hadoop-1.0.4/tmp/dfs/name  
  12. 13/01/24 07:05:12 INFO namenode.NameNode: SHUTDOWN_MSG:   
  13. /************************************************************  
  14. SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1  
  15. ************************************************************/  

5、初始化后，重新启动hadoop，localhost:50070仍然访问失败。查看namenode启动日志，依然报namenode没有初始化的错误。
6、于是删除core-site.xml配置文件中配置的tmp目录下的所有文件；
将hadoop所有服务停止；

再次启动hadoop，访问localhost:50070成功。

 

[plain]   view plain copy
 
  1. ubuntu@ubuntu :~/hadoop-1.0.4/tmp$ rm -rf *  
  2. ubuntu@ubuntu:~/hadoop-1.0.4/tmp$ cd ../bin  
  3. ubuntu@ubuntu:~/hadoop-1.0.4/bin$ ./stop-all.sh   
  4. stopping jobtracker  
  5. localhost: stopping tasktracker  
  6. no namenode to stop  
  7. localhost: stopping datanode  
  8. localhost: stopping secondarynamenode  
  9. ubuntu@ubuntu:~/hadoop-1.0.4/bin$ hadoop namenode -format  
  10. 13/01/24 07:10:45 INFO namenode.NameNode: STARTUP_MSG:   
  11. /************************************************************  
  12. STARTUP_MSG: Starting NameNode  
  13. STARTUP_MSG:   host = ubuntu/127.0.1.1  
  14. STARTUP_MSG:   args = [-format]  
  15. STARTUP_MSG:   version = 1.0.4  
  16. STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012  
  17. ************************************************************/  
  18. 13/01/24 07:10:46 INFO util.GSet: VM type       = 32-bit  
  19. 13/01/24 07:10:46 INFO util.GSet: 2% max memory = 19.33375 MB  
  20. 13/01/24 07:10:46 INFO util.GSet: capacity      = 2^22 = 4194304 entries  
  21. 13/01/24 07:10:46 INFO util.GSet: recommended=4194304, actual=4194304  
  22. 13/01/24 07:10:46 INFO namenode.FSNamesystem: fsOwner=ubuntu  
  23. 13/01/24 07:10:46 INFO namenode.FSNamesystem: supergroup=supergroup  
  24. 13/01/24 07:10:46 INFO namenode.FSNamesystem: isPermissionEnabled=true  
  25. 13/01/24 07:10:46 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100  
  26. 13/01/24 07:10:46 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)  
  27. 13/01/24 07:10:46 INFO namenode.NameNode: Caching file names occuring more than 10 times   
  28. 13/01/24 07:10:46 INFO common.Storage: Image file of size 112 saved in 0 seconds.  
  29. 13/01/24 07:10:46 INFO common.Storage: Storage directory /home/ubuntu/hadoop-1.0.4/tmp/dfs/name has been successfully formatted.  
  30. 13/01/24 07:10:46 INFO namenode.NameNode: SHUTDOWN_MSG:   
  31. /************************************************************  
  32. SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1  
  33. ************************************************************/  
  34. ubuntu@ubuntu:~/hadoop-1.0.4/bin$ ./start-all.sh   
  35. starting namenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-namenode-ubuntu.out  
  36. localhost: starting datanode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-datanode-ubuntu.out  
  37. localhost: starting secondarynamenode, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-secondarynamenode-ubuntu.out  
  38. starting jobtracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-jobtracker-ubuntu.out  
  39. localhost: starting tasktracker, logging to /home/ubuntu/hadoop-1.0.4/libexec/../logs/hadoop-ubuntu-tasktracker-ubuntu.out  

7、原来是修改了配置文件中的tmp目录后没有对hdfs做初始化，导致启动hadoop时报namenode没有初始化的错误。

转载于:https://my.oschina.net/ddfly/blog/645393

chuishu3335
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop学习-错误记录：namenode、datanode、secondarynamenode未启动
摘果子的人的博客
09-02 1304
1、在ubuntu 16.04系统中，采用伪分布配置，在账户A上启动hadoop 2.7.3失败，namenode、datanode、secondarynamenode未启动，查看hadoop-hadoop-namenode-ubuntu.log，错误信息如下： 2017-09-02 02:33:30,597 INFO org.apache.hadoop.http.HttpServer2: Htt
Hadoop伪分布配置错误总结
qjk19940101的博客
03-13 1697
Hadoop伪分布配置错误总结小编在进行hadoop学习过程中，在对hadoop的伪分布进行配置时，对两个配置文件进行了修改。一个是core-site.xml和hdfs-site.xml。配置后运行出现了以下错误：17/03/13 04:20:36 ERROR namenode.NameNode: Failed to start namenode. java.lang.IllegalArgument
Hadoop 在格式化 namenode 时出现以下问题:
hezhixue的Blog
10-29 1781
hadoop@ubuntu :~$ hadoop namenode -format ^[[3~12/10/24 16:51:41 INFO namenode.NameNode: STARTUP_MSG:  /************************************************************ STARTUP_MSG: Starting NameNode
Hadoop 在格式化 namenode 时出现以下问题
热门推荐
汐 朔
02-25 1万+
Hadoop 在格式化 namenode 时出现以下问题: 转自：   http://www.oschina.net/question/815959_76093  格式化仍输出如下： hadoop@ubuntu :~$ hadoop namenode -format ^[[3~12/10/24 16:51:41 INFO namenode.NameNode: STARTUP_
Linux下搭建Hadoop详细步骤
u012516914的专栏
07-15 2247
装好虚拟机+Linux，并且主机网络和虚拟机网络互通。以及Ｌｉｎｕｘ上装好ＪＤＫ １：在Linux下输入命令vi /etc/profile 添加HADOOP_HOME export JAVA_HOME=/home/hadoop/export/jdk export HADOOP_HOME=/home/hadoop/export/hadoop export PATH=.:$PATH:
java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0
01-09
 原因：在调用NativeIO中的access0()时调不到 解决方法：①第一步：在项目工程中加入NativelO.java，注意包名必须与源码中一致 ②第二步：将access方法的返回值改为true，不让他去调用access0() 类似
pentaho-hadoop-shims:Hadoop配置
04-13
pentaho-hadoop-shims使用maven框架。 构建项目的先决条件： Maven，版本3+ Java JDK 1.8 /.m2目录中的这个 建立它 这是一个maven项目，要使用以下命令进行构建 $ mvn clean install （可选）您可以指定-Drelease...
hadoop-yarn-api-python-client:Hadoop:registered:YARN API的Python客户端
05-08
hadoop-yarn-api-python-client 适用于ApacheHadoop:registered:YARN API的Python客户端 软件包文档： REST API文档： 兼容性库与Apache Hadoop 3.2.1兼容。 如果您使用的版本不是上述版本（或类似Hortonworks的供应...
hadoop-lzo:Hadoop 0.20的code.google.comhadoop-gpl-compression重构版本
05-07
它修复了hadoop-gpl-compression中的一些错误-尤其是，它允许解压缩器读取小的或不可压缩的lzo文件，并且还修复了压缩器在压缩小的或不可压缩的块时遵循lzo标准。 它还修复了许多在lzo编写器在中途被杀死时可能发生...
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
【hadoop】DataNode用jps查看无法启动解决办法
u013488563的专栏
07-20 7700
查看DataNode端口没有被其他进程占用，但是依旧用jps查看不了DataNode，此时打开hadoop，访问http://localhost:50070，点击页面中的Namenode logs链接，在logs页面点击hadoop-hadoop-datanode-ubuntu.log 链接，发现日志里面有如下错误： ERROR org.apache.hadoop.hdfs.server.dat
hadoop 单机节点集群安装
yjq8116
10-30 150
安装 ubantun 11.10 (乌班图)，root：hadoop/hadoop 安装yum：sudo apt-get install yum 更改 root密码：sudo passwd root 输入两次密码即可 安装ssh：apt-get install ssh 配置ssh免密码登录 root@ubuntu:~# ssh-keygen -t dsa -P '' ...
格式化 NameNode 提示 SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx
码农UP2U
10-27 1万+
在使用 hadoop namenode -format 格式化 NameNode 时，提示如下错误： SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx 网上提示，需要让 hostname 和 /etc/hosts 下的 主机名 与 ip 地址对应，即 xxx 和 xxx.xxx.xxx.xxx 进行对应。在我本地两者是对应的，后来发现，在输出中有这么一句提示信息，如下图。 只要是提示 succ...
Hadoop0.20.2的安装与配置
thomas0988
12-19 112
本文主要介绍在 Ubuntu 环境下 Hadoop0.20.2 的安装及配置： 步聚一、机器分配及用途 hdfs-m--------------172.16.11.197   (Master--NameNode) hdfs-s1-------------172.16.11.149   (Slave1--DataNode) hdfs-s2-------------172.16.11....
hadoop深度实战
eric_lee的专栏
02-09 1037
1       Linux虚拟环境搭建 1.1  安装VmWare 安装完可以看到vmnet1和vmnet8两块虚拟网卡 1.2  安装linux虚拟机 安装好以后检查应该可以上外网 1.3  配置Linux虚拟机 1.3.1              用root用户登录 先用sudo passwdroot改root密码, 然后在系统的"登录窗口"选项中设置允许本地管理员登陆就可以
linux下搭建hadoop环境
weixin_30517001的博客
07-18 89
参考网址http://www.linuxidc.com/Linux/2012-02/53927.html以及http://www.cnblogs.com/alexyoung/（小康康） 按照教程一步一步的来就差不多就能完成，我也懒，就不写了，这里就写几个出现的问题。 1 报错如下 ERROR namenode.NameNode: java.io.IOException: Cannot c...
java.io.IOException: NameNode is not formatted.
weixin_42240930的博客
11-01 4669
问题：/hadoop-2.7.3/logs/hadoop-root-namenode-SHELL.log显示报错java.io.IOException: NameNode is not formatted. 格式化namenode之前删除core-site.xml中hadoop.tmp.dir下内容和hdfs-site.xml中配置的namenode目录和datanode目录 关键问题来了，使...
NameNode启动失败
syyyyyyyyyyyyyyh的博客
06-15 632
未格式化nameNode，先进行格式化 bin/hdfs namenode -format java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:250) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(F
namenode初始化不成功所报异常
choulvye4175的博客
07-20 1233
如果namenode节点初始化不成功，会报如下异常： java.io.IOException:NameNodeisnotformatted. atorg.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransi...
启动hadoop遇到NameNode.FSNamessystem: 遇到异常加载 fsimagejava.io.IOException: NameNode 未格式化。
最新发布
06-01
这个异常是因为 NameNode 没有被格式化，需要进行格式化操作。可以按照以下步骤进行格式化： 1. 停止 Hadoop 集群中的所有服务。 2. 进入到 Hadoop 安装目录下的 /bin 目录中，执行以下命令格式化 NameNode： ``` hadoop namenode -format ``` 3. 格式化成功后，启动 Hadoop 集群中的所有服务。 需要注意的是，格式化操作会清空 HDFS 中的所有数据，请谨慎操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值