Hadoop Cluster启动后数据节点（DataNode）进程状态丢失

最新推荐文章于 2022-10-17 19:15:37 发布
最新推荐文章于 2022-10-17 19:15:37 发布
阅读量1.5k 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu857279611/article/details/71518895
版权
在启动Hadoop集群后，DataNode进程出现自动退出的问题，原因是重新format名称节点导致命名空间版本不一致。解决方法包括停止集群，删除DataNode的数据目录，再重新format namenode和启动集群，但会导致数据丢失。另一种解决方案旨在同步NameNode和DataNode的NamespaceID以减少数据丢失。
摘要由CSDN通过智能技术生成
  • 首先通过命令hadoop dfs namenode -format格式化名称节点，格式化成功以后使用start-dfs.sh和start-yarn.sh脚本启动集群。此时，整个Hadoop集群使用 JPS进程查看命令发现均正常。在没有关闭Hadoop集群的状态下，我们使用了hadoop dfs namenode -format 命令重新格式化了名称节点。此时再次启动hadoop集群，发现数据节点Datanode进程在成功启动后不久就自动退出。我们重新进行了名称节点的格式化和集群的重启，但是数据节点上的进程依旧在重启后发生闪退的现象。经过查阅相关文献，博客http://my.oschina.net/liangtee/blog/161581帮助解决了这一问题，该博文内容如下。
Error 信息
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenode namespaceID = 240012870; datanode namespaceID = 1462711424 .
  • 查看日志发现错误类似上面所示：显示由于集群中不兼容的命名空间版本号而导致数据节点Datanode发生系统I/O的错误。肯定是由
最低0.47元/天 解锁文章
liu857279611
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
虚拟机hadoop集群启动时DataNode进程缺失
Magicalapologize的博客
12-28 2777
虚拟机hadoop集群启动时DataNode进程缺失 1.出现问题: 在Linux命令窗口中输入Jps查询hadoop启动项目时缺少DataNode进程; 2.问题原因:使用格式化命令之后又再次进行格式化,导致namenodeDatas文件序列号不一致使之启动失败 3.解决方案: 修改namenodeDatas文件序列号,使其保持一致 3.1DataNode启动成功效果图 云 帆 于 201...
Hadoop Namenode/Datanode节点丢失
Yohann丶blog
05-15 1277
1101621048795_.pic_hd.jpg 环境 CentOS 6.8 64位 1核 2GB JDK 1.7.0_55 64 位 Hadoop 1.1.2 问题 $ jps 27841 TaskTracker 27897 Jps 27522 DataNode 27735 JobTracker 27650 SecondaryNameNode 查看启动进程，没有返回 Namen...
关于HDFS的一些总结
hhfhhf12345678的博客
06-21 1395
HDFS是Hadoop大数据生态圈里重要的一部分，它主要用来进行文件存储，在数仓中，进行用户行为数仓建设时，也主要用来存储日志数据，接下来我们对其进行总结介绍。HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。 ...
hadoop中datanode节点失效处理机制
lp895876294的博客
02-28 2045
数据处理
Hadoop3.0 hdfs增加节点 导致元数据格式化 datanode节点丢失
qq_44707928的博客
08-20 506
原因 学习需要，由两个节点扩充至三个节点。当我把hdfs的相关文件配置完毕，启动hdfs时，在web管理界面没有显示新增加的节点 坑1 在某个博客里看到，需要格式化namenode才能显示，我就听了他的话，本以为在格式化元数据后，不会影响datanode的数据，namenode会自动恢复，但是没有我想象中的那么简单。。。 坑2 不仅仅数据丢失，在格式化之后，重新启动hdfs，datanode无法启动。。。 原来在namenode格式化之后，会重新生成一个clusterID 对症下药，将namenode重
hdfs的写流程以及namenode,datanode挂掉后处理
bitbitbyte的博客
07-13 3031
HDFS写流程 client -> namenode: 请求上传第一个block -> 收到可上传的节点(距离感知, 机架感知) -> 节点之间建立通信管道 -> 以Packet为单位传输数据(Packet中的单位chunk, 默认512B, 并校验) -> 传输完成后再次向namenode请求, 上传下一个block 通信管...
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 5558
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
如何解决搭hadoop集群时datanode数据节点未启动或死节点的问题（爬坑中...）
blessness的博客
08-17 4223
出现的问题： 可以发现，当执行stop-all.sh命令关闭hadoop服务的时候，系统会报找不到datanode去关闭的错误。。因而当我们去浏览器访问“http://主机IP地址: 50070”的时候，Dead Nodes这一栏会显示所有的节点都是死节点… 问题分析： 1:之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode；因而jps命令发现没有datanode启动，所以去Hadoop的日志文件下查看日志（/opt/hadoop-2.
Hadoop 集群安装配置过程中 ，web 监控页面 datanode 节点不能成功显示 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode:
kekekeliang的博客
10-17 1950
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-117060438-192.168.xx.xx-1665735296906 (Datanode Uuid 51b77be5-c4d7-4fa3-b5ec-47596378be3f) service to master/192.168.10.11:9000 Datanode denied communication wit
Hadoop | 解决启动Hadoop集群，DataNode不存在的问题
martinniee
01-10 4307
问题描述 1.使用 ./sbin/start-all.sh启动Hadoop集群，过程中DataNode没有启动 2.使用jps查看进程时，没有DataNode节点 在此需注意Hadoop集群是如何搭建的 本实验是使用(伪分布式) 1.Master节点 其他节点在Master节点中 2.Slave节点 DataNode在Slave节点中 可用方案 网上可用方案，及其原因分析是 原因1 多次格式化nameNode节点 (hadoop namenode -format),是NameNode和DataNod
hdfs集群数据迁移/DataNode节点维护/集群重命名--小结
lixia0417mul2的博客
08-14 491
hdfs 数据迁移 数据节点维护 集群重命名操作
解决Hadoop集群丢失Namenode或Datanode问题
liu_xia_zhou的博客
07-04 3929
首先，最开始的问题是我无法在网页查看50070端口，所以我格式化了一下namenode，./hdfs namenode -format并尝试重启hdfs。 发现此时已解决，无50070端口问题，也可在网页查看集群信息，但是竟然datanode消失了 在sbin目录下，我又重新关闭+启动了一波集群 ./start-all.sh发现此时可以解决仍然无效 查阅资料，发现可能是因为不小心多格式化了几次namenode导致，主从机之间clusterID不一致，因此jps不显示datanode的问题。所以我们寻找
大数据之路--一、HDFS
qq_46411309的博客
02-22 987
1.Hadoop 分布式文件系统(HDFS) HDFS 是一个高度容错性的系统，适合部署在廉价的机器上。 HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。其解决了海量数据存储问题，突破了单体服务器的存储能力。 2.HDFS架构 HDFS是分布式主从系统架构，通常包含一个NameNode 节点和多个 DataNode 节点。存储文件时，一个文件被分成了一个或者多个数据块，并存储在多个 DataNode 上，不同DataNode 会对其他DataNode 的数据块进行备份，称为副本（默认
hadoop大数据分布式文件系统
m0_62341392的博客
12-29 2177
官方：hadoop.apache.org 实验环境： 5台实验环境干净的虚拟机 eg： cd /var/lib/libvirt/images ls rm -rf test1 #删掉之前实验用的虚拟机【一定要是虚拟机关闭的情况下】 qemu-img create -f qcow2 -b test.qcow2 test1 #创建虚拟机，修改ip和主机名 virsh start test1 真机中： scp jdk-8u181-linux-x64.tar.gz server1: scp hado..
关于redis cluster 集群模式，你必须知道的几件事情
dj_dengjian的博客
06-07 1986
1. redis cluster 每个节点都开启两个TCP端口，比如配置端口6379，则 开启 6379+10000=16379端口，用于集群间数据交互 2. hashTag 3. 一致性问题。两种会导致丢数的情况，以及如何避免。 （1）主节点同步数据到从节点之前宕机，从节点升级为主节点，导致数据丢失。 解决：wait命令 （2）脑裂 超时拒绝写入 4. nanual failover 5. 转换到cluster模式。 ...
hadoop集群重启后数据丢失处理
zcb_data的博客
05-07 4117
一般hadoop集群重启后会立即处于安全模式，主节点检查各个从节点数据正常后会自动解除安全模式，是否丢失数据可使用命令 “hadoop fsck 路径"来进行查看，例如： hadoop fsck / 查看根目录下所有文件的健康状况，是否有损坏的数据块 如果重启前你的集群是正常的，没有丢失数据，而重启结束之后检查发现该目录下...
hadoopNamenode，Datanode文件节点消失问题解决办法
weixin_44349707的博客
01-02 1119
1.清理hadoop，删光tmp文件夹下所有文件 2.重新配置启动hadoop即可
Hadoop启动集群后使用JPS命令数据节点不显示解决方法
热门推荐
木子的博客
01-17 1万+
出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。 解决方案1：打开core-site.xml文件，查看指定hadoop运行时产生文件的存储目录 ，每次namenode初始...
配置hadoop集群怎么将从节点的clusterID改成与主节点的相同
最新发布
05-12
要将从节点的clusterID改为与主节点相同，需要按照以下步骤进行操作： 1. 在从节点上备份hdfs-site.xml文件和core-site.xml文件。 2. 停止从节点的所有Hadoop服务。 3. 编辑hdfs-site.xml文件，将dfs.namenode....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值