测试hadoop集群是否安装成功：网页监控页面和提交job运行

最新推荐文章于 2022-11-04 11:15:48 发布

weixin_33726943

最新推荐文章于 2022-11-04 11:15:48 发布

阅读量339

点赞数

文章标签：大数据 scala

原文链接：https://my.oschina.net/cjun/blog/627681

版权

为什么80%的码农都做不了架构师？>>>

一、查看集群的网页监控状态

1.查看hdfs集群状态，也就是namenode的访问地址

配置：hdfs-site.xml--dfs.namenode.http-address

默认访问地址：http://namenode的ip:50070

2.如果配置了secondary namenode，那么可以查看secondary namenode状态

配置：hdfs-site.xml--dfs.namenode.secondary.http-address

默认访问地址：http://namenode的ip:50090

3.查看yarn集群的状态

配置：yarn-site.xml--yarn.resourcemanager.webapp.address

默认访问地址：http://resource manager的ip:8088

如果是yarn HA，则有可能不同的ResourceManager的访问端口是不一样的，如配置如下的：rm1和rm2的ResourceManager的访问地址就不一样。

<property>
 <name>yarn.resourcemanager.webapp.address.rm1</name>
 <value>bigdata1:23188</value>
</property>
<property>
 <name>yarn.resourcemanager.webapp.address.rm2</name>
 <value>bigdata2:33188</value>
</property>

4.如果配置了job history，那么可以查看job history server的状态

配置：mapred-site.xml--mapreduce.jobhistory.webapp.address

默认访问地址：http://jobhistory服务器的ip:19888

二、提交job运行

1.hadoop2.6.0版本，提交mapreduce程序

mkdir input
cd input
echo hello world >> file1
echo hello hadoop >> file2
cd ..
hdfs dfs -put input /
cd $hadoop_home/share/hadoop/mapreduce
yarn jar hadoop-mapreduce-examples-2.6.0.jar wordcount /input /ouput

如果执行过程没报错，而且hdfs的ouput的结果正确，那么集群就安装成功了。

转载于:https://my.oschina.net/cjun/blog/627681