Hadoop--SecondNameNode导致服务启动时间超长

最近遇到个问题,每次重启Hadoop发现HDFS控制台都无法访问,并且查看nameNode的JOBTracker日志,如下

2015-02-05 09:36:18,935 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.net.ConnectException: Call to haier002/10.255.254.3:9099 failed on connection exception: java.net.ConnectException: Connection refused

连接9099端口无法连接,开始以为是权限的问题,但是以前是好用的,后台定为到是服务9099端口没启动起来,经过一番查阅

secondNameNode讲解

http://blog.chinaunix.net/uid-20577907-id-3524135.html


SecondNameNode,会备份文件到edit.new文件中,然后重启的时候加载此文件,详细功能间上面网址


突然我就想到是不是由于edit.new文件太大导致加载缓慢,服务一直处于加载中。

结果查看edit.new 100+G,原来是这样。


下面edit.new的存放路径查找方法。

在nameNode服务器

查看Hadoop目录conf下,core-site.xml或者在hdfs-site.xml找到

<property>
  <name>dfs.data.dir</name>
  <value>/opt/liveEpg/hadoop/working/data</value>
  <description>Determines where on the local filesystem an DFS data node
  should store its blocks.  If this is a comma-delimited
  list of directories, then data will be stored in all named
  directories, typically on different devices.
  Directories that do not exist are ignored.
  </description>
</property>

在/opt/liveEpg/hadoop/working/data下我们 cd name/current

就可以看到edit.new文件,使用命令 du -sh ./* 我们就可以查看文件大小,将此文件删除掉即可。

[hadoop@haier002 current]$ du -sh ./*
106G	./edits
24M	./fsimage
4.0K	./fstime
4.0K	./VERSION
[hadoop@haier002 current]$ ls
edits  fsimage  fstime  VERSION
[hadoop@haier002 current]$ > edits 




  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值