Hadoop中DataNode没有启动

最新推荐文章于 2021-01-16 14:24:56 发布
最新推荐文章于 2021-01-16 14:24:56 发布
阅读量150 收藏
点赞数
分类专栏： 大数据 hadoop 文章标签： hadoop hdfs spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yandao/article/details/108556946
版权

Hadoop中DataNode没有启动

主要原因是因为namenode 启动格式化引起的clusterID不一致
把datanode的clusterID 修改为namenode上的clusterID

[root@node1 hadoop]#  cat /var/hadoop/ha/dfs/name/current/VERSION 
#Sun Sep 13 06:16:51 CST 2020
namespaceID=240374401
clusterID=CID-6b9fbb66-0dd8-4a59-ad6e-2a3094f473e0
cTime=0
storageType=NAME_NODE
blockpoolID=BP-388373483-192.168.0.101-1599949011633
layoutVersion=-60


[root@node5 ~]# cat /var/hadoop/ha/dfs/data/current/VERSION 
#Sun Sep 13 04:17:45 CST 2020
storageID=DS-9cccc286-291a-4ac3-8857-96c9a7639e41
clusterID=CID-c79b920f-b4d2-40d7-a535-0cbcc392e3b6
cTime=0
datanodeUuid=7710081a-adcf-4519-91ba-
最低0.47元/天 解锁文章
yandao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop中datanode无法正常启动的问题
阿珂学编程
09-15 465
一个比较常见的原因是因为多次执行：hadoop namenode -format导致的 在这个上面本人也踩过坑，所以想整理一下，做个记录。本人搭建的环境是在虚拟机上创建三个slave节点和一个master节点，正常情况下，在第一次搭建环境成功后，都需要执行一次：hadoop namenode -format来格式化HDFS，执行一次是没有什么问题的，但是执行多次就会出问题了，问题就出在nameno
Hadoop学习笔记十三 Hadoop 更换Datanode位置
编程圈子-谢厂节的博客
08-03 1194
环境： 4台hadoop集群 原磁盘40G，各挂载新的1T磁盘。原位置：vi /home/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/d
hadoop中datanode无法启动
xiaogezhuifengren的专栏
06-05 7234
多日无暇学习使用Hadoop了，今天在练习安装使用Hive的时候发现文件无法从本地拷贝到hadoop集群系统，老是报错，错误内容为： java.io.IOException: File  … could only be replicated to 0 nodes, instead of 1。查找namenode的日志，也是报这个错，而且非常多，即便在启动的时候也是报类似的错误。这个学习环境为
hadoop配置完成后datanode没有启动
xyh153996626的博客
03-12 770
如果配置所有配置都完成了，在namenode节点使用jps命令查看发现namenode进程正常开启，但是进入到datanode节点后使用jps命令发现datanode进程并没有开启，这时候请检查一下 **HADOOP_HOME/conf/hdfs-site.xml** 中配置的name和data文件夹的权限是不是755，即rwxr-xr-x，我之前就是因为把权限给成了777使得datanod
启动Hadoop时候datanode没有启动的原因及解决方案
p15097962069的博客
01-16 409
启动Hadoop时候datanode没有启动的原因及解决方案
关于hadoop中datanode没启动的系列问题
leave_the_message的博客
03-29 954
最近学习了Hadoop的使用，而在运用HBase的之前，是要将Hadoop启动的，正常来说，我们都启动之后输入jps，会出现8行 但是最开始经过配置之后，我的虚拟机是不显示datanode的，通过查看log，是datanode根本没有启动，所以这个时候首先应该看的就是hadoop文件夹中name文件夹里面的version和data文件夹里面的version，这两个文件中的namespaceID是
启动Hadoop后 没有DataNode进程 的解决方法
最新发布
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
hadoop client与datanode的通信协议分析
09-05
在Hadoop分布式文件系统(HDFS)中，客户端与DataNode之间的通信是系统高效运行的关键环节。本文主要关注Hadoop客户端在读写Block时的工作流程，以及客户端与DataNode通信的协议和数据流格式。 首先，当客户端需要...
Hadoop datanode启动失败：Hadoop安装目录权限的问题
07-29
Hadoop datanode启动失败：Hadoop安装目录权限的问题
hadoop 源码解析-DataNode
06-06
Hadoop 作为一个大数据处理框架，其核心组件之一是分布式文件系统（HDFS），而 DataNode 是 HDFS 中的重要组件之一。DataNode 负责存储和管理数据块，提供数据访问服务。本文将对 DataNode 的源码进行解析，了解其...
Hadoop datanode重新加载失败无法启动解决.docx
09-26
Hadoop datanode重新加载失败无法启动解决 本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点，主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载...
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
Hadoop中DataNode没有启动解决办法
optics's blog
11-22 2万+
查看从节点机器hadoop中datanode的log文件 , 拉到最后 , 报错如下2017-11-22 13:51:17,114 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/grid/hadoop-2.7.2/dfs/data: na
Hadoop问题：部署Hadoop时，DataNode没有启动
是个好男人的博客
05-25 375
安装完Hadoop之后，由于slaves文件没有修改，导致其他节点的DataNode都没启动， 修改slaves文件之后，重新格式化NameNode，DataNode还是没有启动 解决方法：需要删除tmp文件 查看tmp目录： 查看core-site.xml配置文件： 　　<property> 　　　　<name>hadoop.tmp.dir</name> 　　　　<value>/home/hadoop/app/hadoop-2.6.0/tmp&..
hadoop2.7.3源码解析之datanode注册和心跳机制
公众号[大数据技术与应用实战]，分享大数据实战案例
07-20 2459
datanode注册和心跳 datanode注册 datanode心跳 namenode接收注册和心跳信息 DatanodeManager简单介绍 namednoe接收注册的信息 namenode 接收心跳信息datanode注册和心跳在hadoop启动的时候，正常的流程是先启动namenoe，然后启动datanode，因为namenode要接受datanode的注册，datanode的注册和心跳是
DataNode的流式接口
happy19870612's blog
11-23 1421
DataNode最重要的功能就是管理物理存储上的数据块，并与NameNode和客户端通信执行读写数据块的操作。这里的读写涉及到大量的数据传输，例如DFSClient将数据块写入DataNode, DFSClient从DataNode读取数据，以及将DataNode数据块复制到其他数据节点。这些操作都涉及大量的I/O   在DataNode实现中，对这些读写操作提供了基于TCP流的数据访问接口D
Hadoop获得集群NameNode和DataNode状态
fansy1990的专栏
03-29 1万+
软件版本：hadoop2.2，JDK1.7，Intellij idea140. 配置Configuration如果需要使用java程序来获得某个集群的NameNode或DataNode的相关信息，那么Configuration需要如下配置：/** * 获得配置的Configuration * * @return */ public static Configuration ge
hadoop中datanode没有启动
06-28
如果Hadoop中的DataNode没有启动，可能是由于以下原因之一： 1. 配置文件错误：检查Hadoop配置文件中DataNode相关的配置是否正确，如HDFS配置文件中的hdfs-site.xml和core-site.xml文件。 2. 端口占用：确保...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值