live datanode数量与集群配置不一致问题

最新推荐文章于 2021-04-27 19:23:00 发布
最新推荐文章于 2021-04-27 19:23:00 发布
阅读量399 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/panxiong1992luo/article/details/106034237
版权

hadoop分布式集群搭建是一个主节点，两个从节点，运行后发现hdfs dfsadmin -report 只有一个节点处于激活状态，从节点jps 发现datanode进程都正常

最后解决办法：

将slave1 hdfs-site.xml 文件参数修改为

前

后

同slave2 修改为node2 

重启后显示两个节点都已激活

 

 

Luo fan
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
Hadoop-2.2.0集群部署时live nodes数目不对的问题
u013281331的专栏
01-07 1640
关于防火墙，hadoop本身配置都确定没任何问题，集群启动不报错，但打开50070页面，始终live nodes数目不对，于是我尝试/etc/hosts文件配置是否存在逻辑的错误： 127.0.0.1       localhost 192.168.1.233   localhost # Hadoop  192.168.1.233   ubuntu-233 192.168.1.234  
Hadoop3.0 WordCount测试一直Accept 状态，Nodes of the cluster 页面node列表个数为0
weixin_30868855的博客
03-26 566
起因是我运行wordcount测试一直卡主，不能执行，一直处于 Accept 状态，等待被执行，刚开始是各种配置yarn参数，以及host配置，后来发现还是不行 hadoop 集群安装完成后，在50070的 HDFS 管理后台能看到，livenode 为2， 但是在 YARN 的资源管理后台，http://hadoop-master:8088/cluster/nod...
hadoop搭建--datanode信息为0，Live datanodes 为0
weixin_36343850的博客
09-09 2496
背景 hadoop集群启动后，无有效的datanode节点，表现形式为： 使用hdfs dfsadmin -report查看节点的情况时，都是0 xf@master01:~/hadoop-2.6.5$ hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated bloc
HDFS集群正常启动，web客户端datanode数量查看错误
qq_39996037的博客
04-27 314
Hadoop问题集一. HDFS集群正常启动，web客户端查看错误 一. HDFS集群正常启动，web客户端查看错误 问题描述：所有配置正确，集群所有机器防火墙关闭，集群机器间ssh免密，hosts,hostname都正常可以正常ping通，namenode主机拉起集群服务，集群所有的namenode和datanode正常启动。但是，打开web客户端看不见正确数量的datanode! 解决办法：可能是hadoop默认hdfs-site.xml里面的配置导致，现在需要修改用户的hdfs-site.xml进行合
datanode已启动，在UI界面下live nodes个数不对
yang398835的博客
09-15 1971
start-dfs.sh启动hadoop，在datanode上运行jps命令查看  通过UI界面察看，live nodes 个数却不对 。 解决办法： 当我们使用hadoop namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VERSION文件，记录c
CentOS下Hadoop-0.20.2集群配置文档.docx
最新发布
09-18
在配置Hadoop-0.20.2集群于CentOS系统时，首先需要了解集群的基本网络环境。在这个案例中，集群由三个节点组成：一个NameNode和两个DataNode。它们通过局域网相互连接，可以相互ping通。每个节点都运行着CentOS操作...
Ubuntu10.04下Hadoop-0.20.2集群配置手册.doc
09-18
这些配置文件需要在NameNode和DataNode上保持一致。 在`core-site.xml`中，你需要指定Hadoop的临时目录和名称节点的地址： ```xml <name>fs.defaultFS <value>hdfs://hadoop-namenode:9000 <name>hadoop.tmp...
hadoop集群配置范例及问题总结.pdf
10-16
hadoop集群配置范例及问题总结 Hadoop集群配置是大数据处理的关键步骤，本文将详细介绍Hadoop集群配置的步骤和注意事项。 一、硬件环境配置 Hadoop集群需要多台机器组成，通常使用虚拟机来模拟多台机器。 VMware ...
hadoop中live nodes有三个，但datanode只显示一个
weixin_45893877的博客
12-10 1559
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
hadoop启动 datanode的live node为0
aozhe0629的博客
04-14 554
hadoop启动 datanode的live node为0 浏览器访问主节点50070端口，发现 Data Node 的 Live Node 为 0 查看子节点的日志 看到 可能是无法访问到主节点的9000端口 使用telnet访问一下主节的9000端口 #...
Hadoop datanode正常启动，但是Live nodes中却缺少节点的问题
热门推荐
wk51920的专栏
06-21 2万+
背景       最近在管理集群时发现明明所有数据节点都已经正常启动了，而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有一个。同时，通过web页面查看http://master:50070，在Live Node那一栏也显示只有一个节点，点击进入该节点查看情况，发现是node1，但诡异的是：这时候点击刷新，刷新后的live node数仍然为1，但却变
hadoop集群只有一个datanode启动问题
yijichangkong的专栏
05-02 1万+
之前不懂犯了个低级错误，导致datanode只能启动一个；很是奇怪； 首先，之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode 注：clusterID在/usr/local/hadoop/hdfs/name/current目录下； 解决方案：修改Shadoop1 和 Shadoop2 的data/current目录下的V
hadoop搭建--所有datanode信息为0，live nodes 为0；
To-nemy
03-13 3613
—————hadoop搭建–所有datanode信息为0，live nodes 为0怎么办？？？ 当hadoop配置完成后，然后使用启动命令启动集群，打开50070和8088网页后，发现没有任何信息，50070页面显示为这个样子。 输入下面命令， [root@dev9106 bin]# ./hadoop dfsadmin -report 显示 Config...
Hadoop中50070无法访问、从节点无DataNode以及live nodes中只能显示一个从节点的问题
goodgoodstudyddp的博客
02-27 3751
问题一、 如果配置了： <property> <!-- <name>dfs.namenode.http.address</name>--> <name>dfs.namenode.http.address</name> <value>Master.Hadoop:5007...
Hadoop启动之后datanode进程在 但50070页面Live Nodes为0
基咯咯
01-03 5926
当正常启动hadoop之后，一般进程都在，而且50070端口可以访问，但是8088端口却不能访问，这里可能有多种原因造成这样： 1、/etc/hosts 中的ip映射不对 2、master与slave之间不能互通 3、hadoop配置文件有错 在子节点中查看日志， 2018-01-03 09:26:48,488 INFO org.apache.hadoop.ipc.Client: Ret
Hadoop datanode正常启动，但是Live nodes中却突然缺少节点
额不食烟火
12-04 2886
问题解决关键：多个节点存放data数据的目录路径相同了，造成了报告中误认为只有一个datanode，于是通过命令查看live datanodes的个数时候，会发现节点全部启动，但是datanodes数目并不能正常显示。解决办法：修改hdfs-site.xml文件master中的hdfs-site.xml文件 <property> <name>dfs.datanode.data.dir
Hadoop集群安装配置指南：NameNode与DataNode，JobTracker与TaskTracker解析
"Hadoop安装配置总结，包括集群部署介绍、Hadoop核心组件解析、环境说明及具体安装步骤" Hadoop的安装配置是一个重要的过程，它涉及到分布式计算平台的基础搭建，以便于有效地处理大规模数据。Hadoop是Apache软件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值