Hadoop机器运行一段时间后hadoop不能stop-all.sh的问题

最新推荐文章于 2023-09-29 22:34:33 发布
最新推荐文章于 2023-09-29 22:34:33 发布
阅读量2.3k 收藏 2
点赞数 1
分类专栏： 【大数据】Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silentwolfyh/article/details/51505804
版权

显示报错no tasktracker to stop ，no datanode to stop


问 题的原因是：hadoop在stop的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下，linux默认会每 隔一段时间（一般是一个月或者7天左右）去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop- hadoop-namenode.pid两个文件后，namenode自然就找不到datanode上的这两个进程了。
在配置文件中$HADOOP_HOME/conf/hadoop-env.sh中export HADOOP_PID_DIR=${HADOOP_HOME}/pids可以解决这个问题
辉哥大数据
关注
专栏目录
无法停止hadoop集群（stop-all.sh）
heima201907的博客
11-04 1025
执行 ./bin/stop-all.sh 脚本一直提示没有可停止的namenode、datanode、secondarynode。可是输入 jps 命令，发现hadoop 已经启动。 [root@xxxxxx src]# bash hadoop-2.6.5/sbin/stop-all.sh This script is Deprecated. Instead use stop-dfs.sh an...
执行stop-dfs.sh后无法停止hadoop集群【hadoop】
To-nemy
11-12 3215
错误情况： Stopping namenodes on [master] master: no namenode to stop slave1: no datanode to stop slave2: no datanode to stop slave3: no datanode to stop Stopping secondary namenodes 3. 原因分析 执行stop-dfs.sh...
hadoop无法停止
xinghaifeng2006的专栏
01-05 509
hadoop无法停止   hadoop运行一段时间后，无法正常停止。 解决方法： 1.jps查询所有的相关进程，如namenode，然后kill -9 进程号 2.修改etc/hadoop/hadoop-env.sh 中的 hadoop-pid-dir  指定到一个有效的目录、   如：export hadoop-pid-dir=/data/hadoop/pids     产生...
hadoop重启时,hdfs关闭不了,no namenode to stop
大数据训练营
11-23 9488
1. hdfs机器迁移,执行sbin/stop-dfs.sh  报错: hadoop001: no namenode to stop hadoop001: no namenode to stop hadoop001: no datanode to stop hadoop001: no datanode to stop hadoop001: no datanode to stop Stoppin...
hadoop的stop-all失效原因及解决
softwarehe的专栏
11-28 4947
长时间运行hadoop之后，如果运行stop-all.sh，会发现有以下错误： no jobtracker to stop hadoop3: no tasktracker to stop hadoop2: no tasktracker to stop no namenode to stop hadoop2: no datanode to stop hadoop3: no datanod
停止Hadoop时报no datanode to stop问题解决
(Andrew)的专栏
05-11 5067
现象：当停止Hadoop的时候发现no datanode to stop的信息。 原因1：每次namenode format会重新创建一个namenodeId，而hadoop.tmp.dir下包含了上次format生成的id，namenode format清空了namenode下的数据，但是没有清空datanode下的数据，导致启动时失败，所要做的就是每次fotmat前，清空tmp一下的所有目录
完美解决Hadoop集群无法正常关闭的问题!
热门推荐
大数据梦想家
02-16 1万+
        相信对于大部分的大数据初学者来说，一定遇见过hadoop集群无法正常关闭的情况。有时候当我们更改了hadoop内组件的配置文件后，必须要通过重启集群来使配置文件生效。         但往往一stop-all.sh,集群下方...
hadoop集群参数修改--以及start-all.sh无法启动resourcemanager的问题
自由幻想的博客
12-04 939
hadoop集群参数修改： 1.hadoop-env.sh 修改jdk的路径 2.core-site.xml <!-- hdfs的文件系统指定 --> <property> <name>fs.defaultFS</name> <value>hdfs://centos1:9000</...
hadoop-3.1.4.tar.zip
09-23
7. **sbin目录**：系统级别的脚本，用于管理Hadoop集群，如启动和停止所有Hadoop服务的`start-all.sh`和`stop-all.sh`。 在使用Hadoop 3.1.4时，首先要根据自己的集群环境配置这些配置文件。例如，你需要在`hdfs-...
Hadoop集群启动，指令start-all.sh 但slave节点没有datanode
PJ填坑手记
05-30 4359
场景 在对集群进行启动时，使用指令start-all 但是slave节点上的datanode没有启动。 Expect Result： 在HadoopMaster终端上执行JPS指令，显示四个进程： 在HadoopSlave终端上执行JPS指令，显示三个进程： 而现在启动后，发现在HadoopSlave终端上只有2个进程： 原因 原因如网上所说，是因为进行了多次格式化指令： hdfs namenode -format 每次格式化都会重新你创建一个namenodeId，而在默认情况下tmp/dfs/dat
Hadoop启动停止的三种方式
yjc_1111的专栏
12-06 4064
（1）分别启动HDFS和MapReduce，命令如下： 启动： start-dfs.sh start-mapred.sh 停止： stop-mapred.sh stop-dfs.sh （2）全部启动或停止 启动： start-all.sh 启动顺序： NameNode->DataNode->Seco
Hadoop集群启动和停止方法
苍夜月明的博客
07-04 4996
    先看一下集群是怎么规划的，这样就知道哪个服务器该开哪个了，不能瞎开啊！    注意点：所有服务器的 HDFS 都有 DataNode，YARN 都有 NodeManagerResourceManager 很消耗内存，不能和 NameNode、SecondaryNameNode 配置在同一台机器上。（有钱人另说，电脑好啥都能干）NameNode和SecondaryNameNode不能在同一台服务器上          什么叫一起启动 / 停止呢？ 就是一下把hadoop102、hadoop103、ha
Hadoop的启动和停止命令
最新发布
m0_74579345的博客
09-29 3701
hadoop命令集
stop-all.sh停止不了hadoop集群
sunqingok的博客
09-08 1681
Hadoop集群使用stop-all.sh停止时，停止不了，提示各个进程都找不到，但是各个进程都存在。 问题原因：hadoop启动停止都是通过hadoop-deamon.sh文件，脚本是通过pid文件来停止hadoop服务的。集群默认配置的pid文件位于/tmp目录下，linux系统默认每30天清理一次/tmp目录下的文件，pid文件丢失将导致无法正确关闭相应进程。 问题解决：由于pid文件已经无法找回，所以只能先用jps获取进程号，然后用kill -9杀掉对应进程，停止集群。参考stop-all.sh及
Hadoop 停止和启动命令总结
cbb
08-30 2243
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode stop-dfs.
Hadoop的启动与停止
x999_lc的博客
11-04 1427
1.sbin/start-all.sh启动所有的Hadoop守护进程。包括NameNode、Secondary NameNode,DataNodeResourceManager, NodeManager 2.sbin/stop-all.sh停止所有的Hadoop守护进程。包括NameNode、Secondary NameNode、DataNode、ResourceManager, NodeManager 3.sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、Second
Hadoop集群无法停止 no namenode to stop
ooeeerrtt的博客
07-19 1629
发现问题的起因是，今天规划对hadoop的一些配置参数进行调优。停hadoop集群的时候发现停不下来。输出如下： 1、查找问题 输出显示找不到namenode、datanode等进程，但是jps查看所有进程都正常运行着。原因能存在执行的hadoop/sbin的sh脚本里。百度没有查到合适的解决办法。 于是反查stop-all.sh脚本。发现stop-all.sh 调用的stop-dfs.sh和stop-yarn.sh。两者又调用的hadoop-...
stop-all.sh 命令无法停止hadoop集群
zhoujianfeng3的专栏
08-05 7966
最近一直都在研究 Mahout算法，hadoop集群也没怎么改动；今天
hadoop的stop-all无效解决
q79969786的专栏
09-17 1683
在hadoop-env.sh中找到export HADOOP_PID_DIR=/var/hadoop/pids，如果是默认的在/tmp目录 分别在每台主机上通过jps找到PID，修改HADOOP_PID_DIR中的PID 例如jps： 5367 RunJar 790 NameNode 942 RunJar 325 RunJar 1190 JobTracker 4208 RunJar 32
/usr/local/hadoop-3.1.4/sbin/stop-all.sh
05-25
这是一个停止 Hadoop 集群所有节点的脚本...stop-all.sh 脚本会停止所有的服务组件，包括 NameNode、DataNode、ResourceManager、NodeManager、JobHistoryServer 等。在执行该命令前，需要确保 Hadoop 集群已经启动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辉哥大数据

你的鼓舞将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值