搭建Hadoop2集群出现Datanode启动不了的问题及解决办法

最新推荐文章于 2023-11-24 14:00:21 发布
VIP文章 最新推荐文章于 2023-11-24 14:00:21 发布
阅读量4.3k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop datanode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiesai588/article/details/51222889
版权

描述现象：根据hadoop官网文档利用三个节点搭建hadoop2.5.2 HA集群，其中node2与node3作为DataNode节点。搭建完成在/hadoop-2.5.2/sbin目录下通过./start-all.sh启动所有服务后发现node2与node3中的DataNode无法正常启动，在其他服务没有关闭的情况下单独在node2与node3上用hadoop-daemon.sh start datanode命令仍没有无法启动。但是如果用./stop-all.sh将其他服务都关闭后再node2与node3上使用hadoop-daemon.sh start datanode命令则DataNode此时可以正常启动！

日志文件错误提示信息（logs）：

2016-04-18 11:10:01,318
最低0.47元/天 解锁文章
neuxs
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群datanode磁盘不均衡的解决方案
02-25
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，具体如下：上图中可以看出max是94.18%，而min是0.37%，其中有600多台是
启动hadoop DataNode 出现问题
qq_43359776的博客
04-12 794
2021-04-11 20:34:25,769 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService java.io.EOFException: End of File Exception between local host is: "master/192.168.158.10"; destination host is: "localhost":9090; : java.io.EOFExcept
564 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService java.io.IOExce
zzu09huixu的专栏
07-05 6506
出现这个问题多数是由于 多次format后的
org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in BPOfferService for Block pool
Mrknowledge
08-13 4499
错误： 2015-08-13 14:23:14,169 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in BPOfferService for Block pool BP-1708135862-172.16.19.22-1397469359179 (storage id DS-1824083977-172.16
DataNode: Exception in BPOfferService for Block pool BP解决方法
smallnetvisitor的博客
12-10 516
问题描述： hadoop启动hdfs的时候namenode和datanode进程都存在，但是感觉不到datanode的存在，也就是Live Nodes和Dead Nodes 都是0，异常信息： datanode.DataNode: Exception in BPOfferService for Block pool BP 解决方式： 清空：hadoop.tmp.dir     ...
Hadoop DataNode不能启动，不能全部启动
weixin_41998650的博客
04-04 1万+
Hadoop DataNode不能启动，不能全部启动
mac上基于docker搭建hadoop集群
01-20
2、构建集群子网 按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，...
Hadoop3.2.0集群搭建常见注意事项
01-09
hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动: export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=ro
解决Hadoop中datanode不能正常启动的问题(简单方便)
Echo的的博客
04-30 2841
很简单，这是由于反复初始化导致的DataNode和NameNode的ClusterID不同，进入Hadoop的安装目录，删除dfs, logs, tmp这三个文件 停止stop-all.sh hadoop namenode -format重新初始化 开启start-all.sh jps查看即可 记住之后一定要注意，关闭虚拟机之前一定要输入stop-all.sh开机时输入start-all.sh即可，不必再次初始化 这个破问题我真的查了很多资料才解决了，这个方法还可以，值得一试 ...
Hadoop启动的时候，发现Datanode启动不了，解决办法
Learning by doing
11-07 1万+
（1）现象： #jps 看不到DataNode （2）可能原因： datanode的clusterID 和 namenode的clusterID 不匹配。 （3）解决办法： 找到data和name配置的dir路径，找到hdfs-site.xml文件（cd hadoop-2.6.5/etc/hadoop/） dfs.name.di
【大数据基础】启动hadoop服务时datanode节点启动失败
Best_T的博客
04-04 2043
【错误描述】 启动hadoop后，没有datanode节点 【原因分析】 多次格式化namenode造成namenode与datanode的不同 【解决方案】 1.stop-all.sh 停止hadoop 2.删除/export/data/hadoop/tmp下所有内容 （文件路径可能会不同） 3.hadoop namenode -format 重新格式化namenode节点 4.start-all.sh 重新启动hadoop ...
大数据Hadoop启动datanode失败或无法启动的解决方案
weixin_39868387的博客
11-18 988
解决启动datanode失败或无法启动问题 问题产生原因： 当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.namenode.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录clusterID，标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存（即配置文件中dfs.data....
Hadoop启动datanode失败或无法启动
热门推荐
liangsw
05-16 2万+
一、问题描述        当我多次格式化文件系统时，如        [root@master]# cd /usr/local/hadoop/etc/bin/hdfs namenode -format      会出现datanode无法启动，查看日志（/usr/local/hadoop/logs/hadoop-hadoop-datanode-xsh.log），发现错误为： 2018-0...
启动Hadoop集群时DataNode节点启动失败原因总结
weixin_42603182的博客
12-30 3027
背景 启动hadoop集群时，在NameNode与SecondaryNode成功启动的同时，DataNode启动失败，本文章将持续更新，总结DataNode节点启动可能的失败原因。 操作环境：CentOS8,hadoop-2.7.5 总结 1.问题：报错 No route to host 问题存在可能原因：DataNode所在主机未联网 解决方案：作者这里在node02,node03主机使用了ifconfig命令，发现两主机ens33没有启动（没有显示ip地址）。使用命令 sudo dhclient e
hadoop启动时datanode无法启动或者启动失败
qiaobiao的博客
02-26 221
一、问题描述 当我多次格式化文件系统时，如 [root@master]# cd /usr/local/hadoop/etc/bin/hdfs namenode -format 会出现datanode无法启动 二、问题产生原因 当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.namenode.name.dir在本地系统的路径）中保存一个c...
部署impala后，启动hadoop时，datanode启动失败
jaaaaa_的博客
03-20 2788
由于impala的配置文件是依赖于hadoop和hive的，所以在部署impala时，会在之前配置好的hadoop配置文件的基础上再进行修改。 本次报错主要体现在 修改了hdfs-site.xml <property> <name>dfs.domain.socket.path</name> <value>/var/run/hdfs-sockets/dn</value> </property> 配置后，启动h
datanode启动失败
shuideyidi的专栏
11-01 7908
当我动态添加一个hadoop从节点的之后，出现了一个问题： [root@hadoop current]# hadoop-daemon.sh start datanode starting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out [root@hadoop 
hadoop集群搭建--启动hdfs时NameNode或DataNode或SecondaryNameNode启动失败解决方法
最新发布
hahatu_的博客
11-24 2590
不管少了哪个进程，先不要烦躁，对应找到操作日志，查看最新错误信息，找到原因，google AI具体报错信息，即可解决。
快速学习-Jenkins CLI计算节点
逍遥云恋
09-18 352
计算节点 Jenkins 的最佳实践是让 master 只做调度任务，其他的构建等任务的执行都放在 agent（计算节点）上运行。 在安装不同插件后，使得 Jenkins 可以支持静态、动态类型的节点。所谓静态，指的是需要我们人工来维护，例如： 创建、上线、下线对应的节点。所谓动态，则可以根据既定的规则，自动地创建、销毁节点； 以 Kubernetes 插件 为例，它通过动态地创建 和销毁 Pod 来提供节点的运行。 协议 不管是动态还是静态的节点，都需要特定的协议来链接 agent 和 master。Je
docker搭建hadoop集群
05-05
搭建Hadoop集群需要进行以下步骤： 1. 安装Docker和Docker Compose 在搭建Hadoop集群之前，需要先安装Docker和Docker Compose。在Linux系统中，可以使用以下命令来安装： ``` sudo apt-get update sudo apt-get ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值