hadoop 问题| no datano to stop | kill -9 pid

原创 2016年05月31日 22:22:20

master   log中报     : 

ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 15: SIGTERM
2015-12-09 11:50:50,870 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:

  DataNode    中报WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService
java.io.EOFException: End of File Exception between local host is: "node1/192.168.176.129"; destination host is: "master":9000; : java.io.EOFException; For more details see:  http://wiki.apache.org/hadoop/EOFException


方法为:重新格式化各个节点,。。web访问不到的问题是,dns解析问题。

①dfs。xml  文件配置下的目录    ②  core 文件配置下的目录   ③ log 日志    每个节点都要格式化

因为之前正常启动过hadoop集群。所以在hadoop的对应data目录中,已经有很多相关文件夹了。我们在格式化之前得先删除相关文件夹才行。

一、对于master主节点进行操作

1、删除data、name、namesecondary三个文件夹。

2、删除mrlocal目录中的四个文件夹

3、删除logs文件夹中的所有文件

二、对于node节点进行操作

1、删除hdfs/data中的所有文件

2、删除mrlocal中的所有文件

3、删除logs中所有文件

基本删除完成后。开始重新格式化namenode

三、格式化namenode

[hadoop@master hadoop]bin/hadoop namenode -format


格式化成功后。重新启动集群

四、重新启动集群

[hadoop@master hadoop]bin/start-all.sh

五、查看集群启动情况

[hadoop@master hadoop]jps
3851 Jps
3744 TaskTracker
3622 JobTracker
3279 NameNode
3533 SecondaryNameNode
3395 DataNode


如看到

[hadoop@master hadoop]$ jps
3851 Jps
3744 TaskTracker
3622 JobTracker
3279 NameNode
3533 SecondaryNameNode
3395 DataNode

则代表启动成功。
版权声明:本文为博主原创文章,未经博主允许不得转载。

ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM

重新搭建Hadoop集群,一切配置就绪后,启动集群后,在Master和所有的Slave节点上通过JPS命令都可以看到集群应该启动的进程都已经启动了。通过50070端口也可以查看到所有DataNode处...
  • caiandyong
  • caiandyong
  • 2016年03月17日 14:10
  • 8927

Hadoop 文件命令 kill job

* 文件操作  * 查看目录文件  * $ hadoop dfs -ls /user/cl  *  * 创建文件目录  * $ hadoop dfs -mkdir /user/cl/temp...
  • zhaoyue007101
  • zhaoyue007101
  • 2013年03月05日 15:25
  • 17194

如何杀掉当前正在执行的hadoop任务

列出当前hadoop正在执行的jobs: [hadoop@192.168.10.11 hadoop-0.20.2-cdh3u3]$ hadoop job -list 10 jobs currently...
  • lxpbs8851
  • lxpbs8851
  • 2013年08月28日 10:44
  • 20418

hadoop关不掉namenode的解决办法

问题描述 部门的Hadoop集群运行有一个多月了,今天需要做点调整,但是突然发现Hadoop不能正常关闭! Hadoop版本:2.6.0 具体情况如下: [root@master ~]# stop-d...
  • arrow8071
  • arrow8071
  • 2016年05月10日 19:24
  • 2081

kill用法详细解释(特别是信号量9的使用以及理解)

Linux kill命令 当需要中断一个前台进程的时候,通常是使用组合键;但是对于一个后台进程恐怕就不是一个组合键所能解决的了,这时就必须求助于kill命令。该命令可以终止后台进程。至于终止后台进程...
  • Kaiwii
  • Kaiwii
  • 2012年03月30日 11:56
  • 15188

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Incompatible namespaceIDs

转载:http://xiaoxia001.iteye.com/blog/1279354 用三台centos操作系统的机器搭建了一个hadoop的分布式集群。启动服务后失败,查看dat...
  • jokes000
  • jokes000
  • 2012年06月30日 15:23
  • 10117

hadoop分析之三org.apache.hadoop.hdfs.server.namenode各个类的功能与角色

以hadoop0.21为例。 NameNode.java: 主要维护文件系统的名字空间和文件的元数据,以下是代码中的说明。 /***********************************...
  • kntao
  • kntao
  • 2012年07月21日 22:52
  • 6437

找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode 问题解决

hadoop的格式化的时候报这个异常"找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode" 网上很多原因,也确实有很多原因导致这个...
  • dzl84394
  • dzl84394
  • 2017年05月17日 19:16
  • 1387

错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode 问题解决

问题描述:   运行指令 在hadoop安装路径下运行  bin/hdfs namenode -format 时,出现“错误:找不到或无法加载主类org.apache.hadoop.hdfs.ser...
  • renjie223
  • renjie223
  • 2015年11月05日 15:08
  • 9116

kill -9 pid 就可以彻底杀死tomcat

打开终端 cd /java/tomcat #执行 bin/startup.sh #启动tomcat bin/shutdown.sh #停止tomcat tail -f logs/catali...
  • liyayunwxc
  • liyayunwxc
  • 2013年08月17日 16:50
  • 4112
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop 问题| no datano to stop | kill -9 pid
举报原因:
原因补充:

(最多只允许输入30个字)