Hadoop的Nodes of the cluster界面MemoryTotal为0B

6 篇文章 0 订阅
6 篇文章 0 订阅

1、hadoop集群安装部署结束,一键启动:

start-all.sh

2、查看各主从机器上jps进程

jps
master: ResourceManager + NameNode

slave1(第二namenode): DataNode + SecondaryNameNode + NodeManager
slave2: NodeManager + DataNode

注意:这里的进程虽然都正确,但是并不代表所修改的配置文件都生效了。只能说明修改后的配置文件语法没错,可以启动!

3、运行测试

(1)、hdfs管理界面   http://master:50070/

(2)、yarn的管理界面:http://master:8088/cluster/nodes

 

(3)、查看hdfs的状态报告 hdfs dfsadmin -report

(4)、查看yarn的基本信息yarn  node -list    

 注意:在(4)命令正常运行时的结果应为:

   

在(2)的网页端里MemoryTotal不为0B,且下方node Labels所在的表格不为空,才算正确,否则说明yarn-site.xml文件有未生效配置!会导致新建任务的时候,一直处于Apps Pending状态!

根据启动信息,到未成功启动的node下查找日志:大致为

 到相应的主机下打开对应的log文件,名字相同,后缀修改一下就好了。如果出现类似

org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031 

等错误,可以断定时yarn-site.xml未生效。

4、yarn-site未生效可能原因:语法正确,但是存在嵌套错误。

如:复制粘贴的时候粘贴到了别的标签内部!此时运行start-all正常,但是app 会卡在pending。


<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop200:8030</value>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop200:8033</value>
</property>

</property>

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值