hadoop 遇到的DataNode无法启动问题

最新推荐文章于 2022-07-21 12:59:01 发布
最新推荐文章于 2022-07-21 12:59:01 发布
阅读量225 收藏
点赞数
分类专栏： bigdata
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liyyzz33/article/details/88718595
版权

删除DataNode的所有资料及将集群中每个datanode节点的namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）

core-site.xml
hadoop.tmp.dir
/data/hadoop/hddata/

/data/hadoop/hddata/VERSION 删除，
然后重新执行hadoop namenode -format进行格式化，
重启集群，错误消失。

打卤
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop 中的datanode无法启动
fengtaosky的博客
08-16 507
问题描述： 2018-08-16 11:33:56,570 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hdfs/data/ java.io.IOException: Incompatible clusterIDs in /opt/hdfs...
Hadoop datanode无法启动
天道酬勤
03-04 9075
碰到的问题：         在master以hadoop用户执行：start-all.sh         jps查看master节点启动情况： NameNode                                                                 JobTracker
hadoop 中datanode无法启动
...
09-02 715
配置hadoop的信息，友情链接（ubuntu可用，更新下hadoop的版本）：https://www.drweiwang.com/install-hadoop-2-2-0-debian/ asda
hadoop datanode进程不能启动
CSDN 精品推荐
08-19 578
如果当我们启动hdfs时，namenode启动成功，而对应的datanode不能启动一般需要重新格式化namenode，注意一点就是在格式化之前要删除logs和data文件夹，前者为保存hadoop下保存日志的文件夹，后者一般是保存tmp文件夹，改路径是自己设定的， 可以去core-site文件中进行查看，将两文件夹删除后重新进行格式化，而且还有一点就是关掉此时运行的namenode和datanode进程。 hdfs namenode -format ...
Hadoop中datanode无法启动
bear
01-19 782
1. 环境描述： 虚拟机10，CentOS6.4，伪分布式安装Hadoop。 2. 问题描述： 出现datanode无法启动。 3.错误一：指定的文件目录权限不符 查看datanode启动日志 cat/home/hadoop/hadoop-0.20.203.0/logs/hadoop-hadoop-datanode-hadoop.log 查看日志发现 这是
Hadoop datanode启动失败：Hadoop安装目录权限的问题
07-29
在部署Hadoop集群的过程中，用户可能会遇到Datanode启动失败的情况。这一问题通常表现为，在尝试启动Hadoop集群时，Datanode无法正常启动，并且在访问NameNode的Web界面时发现缺少Datanode的相关信息。这种情况会...
wsl 配置 Hadoop（DataNode无法启动的解决方法）
hxc2101的博客
02-05 461
1 WSL准备 1.1在microsoft store 中下载wsl 1.2Ubuntu系统准备 (SSH server) 安装 sudo apt-get install openssh-server 启动 sudo service ssh restart 配置免密登录 按照提示需要按四个回车(Enter) ssh-keygen -t rsa 将公钥拷贝到需要免登陆的机器上（表示将指定的文件信息authorized_keys(注：文件名必须为authorized_keys)中..
启动hadoop 2.7.3 datanode启动后又宕机, 遇到的datanode启动不了
形而上者谓之道 形而下者谓之器
03-03 1368
启动hadoop 2.7.3 datanode启动后又宕机, 遇到的datanode启动不了 启动hadoop2.7.3datanode启动后又宕机,遇到的datanode启动不了 官方安装手册: https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.0/bk_support-matrices/content/ch_ma...
关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题
m0_58676712的博客
07-21 3044
找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。
CDH 安装hadoop Datanode启动失败
mthinking
04-26 1020
启动WARN 晚上11点09:05.570分 WARN NativeCodeLoader Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 晚上11点09:05.892分 WARN EventStorePublisherWithRetry Fai...
HDFS中的部分Datanode存在大量没有删除的Block磁盘被占满
leongfans的专栏
01-05 1830
数据中心的HBase（cdh3u3）集群已经稳定运行了差不多半年多了。由于前期规划的不合理，最近给所有的数据节点分批重装了一下系统，最后发现经常有几个节点出现磁盘空间不足的异常。查看文件系统，发现原来大约占用6T空间的HDFS已经占用了差不多15+T的数据 1、先用fsck进行文件系统检查，发现大约占用2T的空间（*3约等于6T，数据重量差不多就是这么多），并没有数据块有过多的备份。 2、查看...
hadoop中datanode无法正常启动的问题
阿珂学编程
09-15 476
一个比较常见的原因是因为多次执行：hadoop namenode -format导致的 在这个上面本人也踩过坑，所以想整理一下，做个记录。本人搭建的环境是在虚拟机上创建三个slave节点和一个master节点，正常情况下，在第一次搭建环境成功后，都需要执行一次：hadoop namenode -format来格式化HDFS，执行一次是没有什么问题的，但是执行多次就会出问题了，问题就出在nameno
【爬坑】DataNode 无法正常启动解决方案
weixin_34041003的博客
09-25 470
0. 说明 　　DataNode 无法正常启动的原因 & 解决方案 1. 原因一 　　在 start-all.sh 之后 DataNode 无法正常启动，单独启动也启动不了 　　　　　　 　　可能的原因 　　多次格式化，导致 NameNode 和 DataNode 的集群 id 不匹配DataNode 无法启动 　　验证 　　...
hdfs datanode进程没法启动
dinghua_xuexi的专栏
04-06 336
刚搭建的hadoop集群，文件系统有点错乱，然后一顿整之后，datanode没法启动了。没办法，只能对hdfs集群文件系统进行格式化了，但是格式化并不是一个简单的命令就完事，需要彻底清除前面操作留下的任何痕迹，否则datanode还是无法启动！ hdfs重新格式化步骤 sbin/stop-all.sh # 清理hadoop.tmp.dir目录 rm -rf /home/hadoop/ap...
hbase集群断电数据被破坏无法启动
xx7330842的专栏
10-26 3752
集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。 在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进
DataNode无法启动的原因
说文科技，做有态度的研究。
05-06 7368
DataNode无法启动的原因 1.可能的原因有如下几个： 1.多次执行./hadoop namenode -format命令，导致出错。 解决办法：到安装hadoop目录下，：例如笔者的目录是：/usr/local/hadoop-2.6.4/etc/hadoop。查看core-site中的如下配置： <property> <name>hadoop...
DataNode启动失败解决
最长的电影
03-25 356
DataNode启动失败解决   第一步:查看日志   打开DataNode上的hadoop日志  在hadoop/logs下 查看类似于 hadoop-root-datanode-node3.log   查看错误    在日志中会看到 类似于这样的错误 Incompatible clusterIDs in /usr/hadoop/tmp/dfs/data:  nameno...
datanode节点启动不起来
A3213383291的博客
03-15 4227
datanode启动不了） 原因：datanode的数据节点启动不起了，大多数情况下就是执行==./hadoop namenode -format==命令，导致出错。 解决办法：找到Hadoop的安装目录的tmp 目录，删除tmp目录或者找到tmp目录下hdfs/data将其删除，然后再重新执行一次格式化命令就可以启datadnode节点了 ...
解决启动hadoop时datanode无法启动
android的博客
01-11 361
http://jingyan.baidu.com/article/3c343ff7e75e9e0d36796347.html
优化Hadoop集群Datanode磁盘负载：balancer与预留策略
当遇到磁盘几乎满载的问题时，通常的做法是检查DataNode的日志，寻找错误线索。然而，单纯依赖NameNode（Namenode）的自动平衡功能可能不足以解决所有情况，因为Namenode在DataNode失败时才会尝试重新分配数据。关闭...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值