Hadoop集群启动之后,datanode节点未正常启动的问题

最新推荐文章于 2022-07-21 12:59:01 发布
最新推荐文章于 2022-07-21 12:59:01 发布
阅读量565 收藏 3
点赞数
文章标签： 大数据 运维
原文链接：http://www.cnblogs.com/Cilimer/p/4055622.html
版权

Hadoop集群启动之后,用JPS命令查看进程发现datanode节点上,只有TaskTracker进程.如下图所示

master的进程:

两个slave的节点进程
发现salve节点上竟然没有datanode进程.
查看了日志,发现有这样一句话:
 
这句话的意思是:datanode上的data目录权限是765,而期望权限是755,所以使用chmod 755 data命令,将目录权限改为755.
再次重启hadoop集群,发现datanode节点已经正常启动.

转载于:https://www.cnblogs.com/Cilimer/p/4055622.html

aiguoxie5710
关注
启动hadoop时，datanode未能正常启动
cllblogs
09-14 719
启动hdfs时，查看进程发现没有datanode进程 [hadoop@hadoop001 sbin]$ start-dfs.sh Starting namenodes on [hadoop001] hadoop001: starting namenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoo...
hadoop集群中datanode启动不了
InsectsAwaken_的博客
04-15 959
主要 可能的原因： DataNode和clusterID和NameNode的clusterID不匹配 格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。（目前我只删除了data数据就可以正常工作） 查看两个ID的命令： [atgui...
Hadoop2.4.1集群启动DataNode 不能正常启动
zhoujj303030的专栏
07-26 1023
2014-07-26 10:14:39,292 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:  /************************************************************ STARTUP_MSG: Starting DataNode STARTUP_MSG:
hadoop集群启动之后dataNode节点没有启动
qq_20124743的博客
11-29 1万+
启动Hadoop集群之后slave机器的dataNode节点没有启动 master机器的nameNode节点启动了 1、在集群/usr/local/src/hadoop/bin目录下./start-all.sh暂停所有服务 2、将/usr/local/src/hadoop/目录下的 logs、tmp文件夹删除(DataNode存放数据块的位置) 然后重新建立tmp  logs文件夹 3、重新
解决启动Hadoop集群，从节点没有启动（DataNode等）
热门推荐
weixin_38023225的博客
09-02 1万+
问题 在集群主机点启动HDFS集群和YARN集群之后，查看各个节点启动情况：主节点全部启动成功，从节点启动失败 [root@master-node ~]# jps 6432 Jps 5427 NameNode 5811 ResourceManager 5531 DataNode 5917 NodeManager [root@slave-node1 ~]# jps 2244 Jps ...
Hadoop启动集群时NameNode或DataNode没起起来可能出现情况的解决方法
qq_40233706的博客
09-17 3512
你的问题可能是这样的（jps没显示NameNode或DataNode）： 第一台机器： 第二台机器： 第三台机器： 情况一：host文件域名映射没配 C:\Windows\System32\drivers\etc 找到host文件 添加域名映射 情况二：用SCP远程拷贝后又修改了配置文件 这样就算第一台机器jps显示正常，第二台第三台机器配置文件依旧是没有同步 解决方...
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8916
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
如何解决搭hadoop集群时datanode数据节点未启动或死节点的问题（爬坑中...）
blessness的博客
08-17 4246
出现的问题： 可以发现，当执行stop-all.sh命令关闭hadoop服务的时候，系统会报找不到datanode去关闭的错误。。因而当我们去浏览器访问“http://主机IP地址: 50070”的时候，Dead Nodes这一栏会显示所有的节点都是死节点… 问题分析： 1:之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode；因而jps命令发现没有datanode启动，所以去Hadoop的日志文件下查看日志（/opt/hadoop-2.
关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题
m0_58676712的博客
07-21 3050
找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 5635
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
hadoop集群启动没有datanode
最新发布
03-16
如果Hadoop集群启动时没有DataNode，可能是由于以下原因： 1. DataNode服务未启动：请确保DataNode服务已经启动。可以通过运行jps命令来检查DataNode进程是否正在运行。 2. 配置文件错误：请检查hdfs-site.xml配置...
使用linux虚拟机以及hadoop遇到的问题
Xkarsa的博客
06-19 1399
ubuntuwu无法关闭防火墙的解决 vm 无法正常与windows之间传输文件
hadoop slave节点无法启动datanode数据节点进程，但是master节点datanode正常启动
zhangyuhaifa的专栏
08-26 2211
按照Docker创建的集群下使用ansible部署hadoop教程，使用最新版本的hadoop3.0以后版本，一直出现mater节点正常启动，也包括datanode节点。查阅网上很多资料都是反应多次格式化引起。但是发现slave节点根本没有出现那些目录。所以心中一直有这个疑虑。当然也跳过很多坑！困扰我整整一个星期。 报着不解决问题死不休的心态，终于在茫茫问题解决贴中找到答案 传送门：hadoop错误- slave节点无法启动data node数据节点进程，但是master节点datanode正常启动
Hadoop datanode正常启动，但是Live nodes中却缺少节点的问题
lsp的博客
09-05 1410
打开配置文件hdfs-site.xml找到dfs.datanode.name.dir这个属性，或者dfs.data.dir具体看你用哪个设置的数据存储路径。  分别在master, node1, node2中更改此属性 #master中的值 <property> <name>dfs.datanode.data.dir</name> <value...
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个
weixin_43520450的博客
10-14 8749
hadoop集群通过wab管理界面只显示一个节点，datanode只启动一个 引起该问题最常见的原因，及其解决办法 使用命令hadoop namenode -format对namenode进行了格式化，使得/usr/local/hadoop/tmp/dfs 下的datanode与namenode中的VERSION clusterID不一致了，把全部集群节点的ID号都改为一样的即可。 下图是更改c...
Hadoop集群所有或者部分的DataNode启动不了的解决方案
yilongchuan的博客
06-11 3858
原因可能是多次Hadoop namenode -format导致clusterID不一致，具体可以在失败的.log文件中看到两个clusterID不一致，在这就先说具体解决方法（1）先去hadoop路径下的配置文件hdfs-site.xml可知dfs.namenode.name.dir的地址和dfs.datanode.data.dir的地址<!--hdfs的元数据存储位置--><...
Hadoop 集群节点启动失败
一个有趣的人，咱们处处看！
11-08 1598
java.net.UnknownHostException: node03: node03: 未知的名称或服务 at java.net.InetAddress.getLocalHost(InetAddress.java:1505) at org.apache.hadoop.security.SecurityUtil.getLocalHostName(SecurityUtil.java:219) a...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值