【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode，总显示0

最新推荐文章于 2021-06-25 17:55:58 发布
最新推荐文章于 2021-06-25 17:55:58 发布
阅读量3.5k 收藏 1
点赞数 1
分类专栏： hadoop 文章标签： 分布式 namenode hdfs 格式化 hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxyhenpiaoliang/article/details/52026124
版权

live nodes总是为0，但是从namenode的机器上可以看到该进程，同时namenode的9000端口也是正常的，但web页面就是显示活跃datanode为0

原因：应该是hdfs格式化了多次

解决方案：把创建的 dfs 里面name和data文件夹里面的内容删掉重新跑

最终问题解决，ok

一把剑
关注
专栏目录
PHP 7.4.x + Apache环境搭建
无为 的专栏
09-07 3846
最近在使用Atlassian 的软件 Bamboo 进行大家 CI/CD 环境，因为软件是 PHP 开发的，所以先要在 Win10下搭建 PHP 运行环境。为了方便保留信息，在此记录了搭建过程，目前先就不安装 MySql了，主要是下载并安装 php-7.4x 和 httpd-2.4.x。 1.下载软件 1）下载php-7.4.10-Win32-vc15-x64.zip，官方网站：https://windows.php.net/downloads/releases/ 2）下载httpd-2.4....
linux hadoop完全分布式集群搭建图文详解
if(true){ I love it }
04-24 1万+
一.前期准备 1.1 Win7官网下载hadoop包 本文使用版本hadoop-2.6.5.tar.gz 1.2 配置jdk jdk1.7:linux jdk安装和配置 1.3 centos7集群服务器 主机名 系统 IP地址 master centos7 192.168.32.128 slave01 centos7 192.168.32.131 slave02 centos7 192.168.32.132 1.4 多服务器ssh免密码
Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA）
Linuxer's Blog Data
01-15 1311
问题导读 1.YARN的基础架构是什么？ 2.哪一进程防止Yarn早就web攻击？ 3.Zookeeper主进程是哪个？ 4.如何下载cdh包？ 本文搭建Hadoop CDH5.0.1 分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistoryServer。  一概述（一）HDFS
hadoop完全分布式搭建datanode无法启动原因
slight0908的专栏
01-24 908
折腾了大半天，终于成功搭建完毕环境。其中耽误时间最长的是datanode无法启动。其实是自己的低级错误。。 3台虚拟机，一台master，两台salve。 第一次错误，查看日志，是hdfs-site.xml文件配置拼写错误。 第二次到第N次 都是  slave无法连接到master ，以下是我检查的方向： 1.master 和 slave的防火墙确认是关闭的。 2
关于hadoop集群开启后，datanode为0个，找不到datanode的解决方法
weixin_54628931的博客
03-26 4135
这个问题也卡住我好几天，通过百度和自己摸索，最终找到问题的答案，如果有不对的地方，请大神们批评指正。 相信各位已经配置好了hdfs-site.xml文件，也运行过hdfs namenode -format命令，但是还是没有找到datanode。可以尝试以下步骤： （1）进入到vi /opt/rh/hadoop-3.2.2/etc/hadoop/hdfs-site.xml 打开这个配置文件，查看你的name和data文件夹的地方。 随后进入到这两个文件夹下，使用rm -rf *命令删除文件夹...
hadoop集群启动成功但进入管理界面显示DataNode为0的问题总结
skyanddream的博客
04-29 4108
Hadoop完全分布式出现DataNode为0的解决方案 问题：在配置好Hadoop后，jps命令下看见Hadoop服务已经启动,namenode和datanode都已经启动，但进入Hadoop界面还是没有DataNode。 问题截图 解决方案 1.可能是主机IP地址映射错误 netstat 查看端口9000是否被监听，如果没有进入 vi /etc/hosts 查看是否主机名和IP地址之间...
hadoop完全分布式集群搭建
09-12
### Hadoop完全分布式集群搭建详解 #### 一、前言及环境准备 在开始搭建Hadoop完全分布式集群之前，需要确保已经准备好相应的硬件资源和软件环境。本篇指南旨在为初学者提供一个全面且详细的Hadoop集群搭建流程，...
hadoop完全分布式集群搭建笔记
09-22
### Hadoop完全分布式集群搭建详解 #### 一、概述 Hadoop是一款开源的大数据处理框架，主要用于处理海量数据。为了实现高效的数据处理能力，Hadoop通常会在多台计算机上搭建分布式集群。本文将详细介绍如何搭建一...
Hadoop3.0.0完全分布式集群搭建
qq_38332453的博客
06-25 1380
Hadoop3.0.0完全分布式集群搭建1、前言2、准备工作3、环境准备4、集群搭建步骤5 修改每台机器主机名(hostname)6、配置ssh，实现无密码登录7、开始配置hadoop8、 启动Hadoop 1、前言 Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式 单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 伪分布式—— 也是在一台单机上运行，但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当Dat
Hadoop完全分布式环境搭建
12-09
### Hadoop完全分布式环境搭建详解 #### 一、前言 在大数据处理领域，Hadoop是一种广泛使用的开源框架，主要用于存储和处理大规模数据集。它包括HDFS（Hadoop Distributed File System）和MapReduce等核心组件。...
hadoop namenode启动不了_十三、Hadoop全分布式HA集群的搭建
weixin_39640845的博客
11-25 242
1.集群规划1.1.集群规划1.2.节点说明NN: NamenodeDN: DatanodeJN: JournalnodeRM: Resource ManagerNM: Node ManagerMaster: Spark基于Standalone集群的MasterWorker: Spark基于Standalone集群的WorkerZK: Zookeeper2.环境准备2.1.服务器环境配置请参考另外...
搭建大数据hadoop完全分布式环境遇到的坑
weixin_34292402的博客
01-24 254
搭建大数据hadoop完全分布式环境，遇到很多问题，这里记录一部分，以备以后查看。 1、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 本文网址：https://www.cnblogs.com/SH170706/p/10312667.html 2、Ha...
解决Hadoop伪分布式下，datanode无法启动的问题
shen_xy的博客
11-20 962
问题：发现可视化界面中datanode的个数为0，是用jps命令查看时，发现DataNode没有启动，查看datanode的启动日志时，出现以后报错信息↓   问题原因：由于频繁的是用-format命令，导致namenode的clusterID会重新生成，而datanode的clusterID 保持不变，两个clusterID不同，导致datanode无法启动。 解决方式：找到日志中提示...
解决启动完全分布式namenode没有启动起来，其他都启动起来了的问题
热门推荐
诗水人间
10-23 13万+
是否你遇到如下情况？只有namenode没有启动起来，导致整个集群不可用？ 原因是进行了第二次格式化namenode；不止一次执行了hdfs namenode -format。导致唯一识别标识集群id变化了。所以启动不起来namenode 解决方法： 删除对应文件，重新格式化namenode NameNode、SecondaryNameNode、的临时文件删干净，然后重新格式化名称结点即可 文件路径在core-site.xml配置中能找到 如果没有配置则在默认路径下找，其中...
Windows环境下的hadoop，输入hadoop dfsadmin -report命令后全是0
Doinru的博客
12-07 658
Windows环境下的hadoop，输入hadoop dfsadmin -report命令后全是0 写作业搞Hadoop，懒得弄虚拟机所以用Windows装的hadoop，但是登录http://localhost:50070/之后发现都是0。 没解决前特别烦躁……ddl一大堆，忘了截图。 解决办法 检查一下安装hadoop路径下：\etc\hadoop\里的hdfs-stie.xml文件。内容应该改成如下样子： 画出红圈的地方就是我的错误所在，之前安装的时候一直照着别人的教程，直接复制了路径，忘记了我自
解决hadoop namenode -format / hdfs namenode -format 找不到java的文件目录
weixin_33816611的博客
09-21 5243
2019独角兽企业重金招聘Python工程师标准>>> ...
namenode ID与datanode 不匹配 找不到datanode
qq_38195641的博客
04-12 898
解决hahdoop中由于多次格式化namenode 造成的namenode ID与datanode 不匹配 找不到datanode 找到hadoop的配置文件/usr/local/hadoop/etc/hadoop/ 就是之前配置伪分布式hdfs时修改过的2个配置文件 core-site.xml 和 hdfs-site.xml 。 打开 core-site.xml 查看data 和name 地址 ...
hadoop：dfsadmin -report 全0
wyq393562305的专栏
04-14 1983
 今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoop dfsadmin -report查看系统状态 admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2>bin/hadoop dfsadmin -report Configured Capacity: 0 (0 KB) Present Ca
Hadoop所有dataNode信息为0
zengxingyuluo的博客
11-23 518
其中之一可能是防火墙问题，关闭防火墙 systemctl stop firewalld
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值