hadoop命令行运行wordcount程序 web端监控不到作业状态

最新推荐文章于 2023-12-28 23:27:13 发布

tangtang5156

最新推荐文章于 2023-12-28 23:27:13 发布

阅读量1.1w

点赞数 5

分类专栏： hadoop 文章标签： hadoop mapreduce yarn 磁盘

本文链接：https://blog.csdn.net/tangtang5156/article/details/40867759

版权

在命令行运行Hadoop的WordCount程序时，虽然能连接到hdfs但无法在YARN上看到作业状态。通过修改yarn-site.xml添加`mapreduce.framework.name`配置后，作业显示但因缺少配置而失败。最终解决方法是在mapred-site.xml配置`mapreduce.framework.name`为`yarn`，并在yarn-site.xml中添加`yarn.nodemanager.aux-services`为`mapreduce_shuffle`，解决了因磁盘空间不足和.shuffle服务未配置导致的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在命令行或者是Eclipse远程连接运行Wordcount程序后，在页面8088端口号监控，始终没有变化，显示application为空。

说明作业只是成功连接到了hdfs，但是并没有用到集群中mapreduce服务。

修改集群配置文件yarn-site.xml，加上如下几句：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

重启运行wordcount，页面有作业显示，如下

但是作业运行失败，报错：

14/11/06 16:31:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/11/06 16:31:37 INFO client.RMProxy: Connecting to ResourceManager at localhost/127.0.0.1:9001
14/11/06 16:31:38 INFO input.FileInputFormat: Total input paths to process : 23
14/11/06 16:31:38 INFO mapreduce.JobSubmitter: number of splits:23
14/11/06 16:31:38 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1415262420184_0002
14/11/06 16:31:39 INFO impl.YarnClientImpl: Submitted application application_1415262420184_0002
14/11/06 16:31:39 INFO mapreduce.Job: The url to track the job: http://hadoop-05:8088/proxy/application_1415262420184_0002/
14/11/06 16:31:39 INFO mapreduce.Job: Running job: job_1415262420184_0002
14/11/06 16:31:43 INFO mapreduce.Job: Job job_1415262420184_0002 running in uber mode

最低0.47元/天解锁文章