Hadoop集群的执行作业时一直卡着不动问题的解决

最新推荐文章于 2024-03-05 13:16:02 发布

qq_44982182

最新推荐文章于 2024-03-05 13:16:02 发布

阅读量3k

点赞数 1

分类专栏： hadoop +eclipse hadoop+centos

本文链接：https://blog.csdn.net/qq_44982182/article/details/107807018

版权

当Hadoop集群在一段时间后执行作业卡住时，分析发现并非磁盘或内存不足，也非配置错误，而是资源分配问题。解决方法包括调整YARN内存设置和Capacity Scheduler配置，增大application master的资源申请比例，重启YARN服务。

摘要由CSDN通过智能技术生成

现象描述：当我们搭建好集群之后，初次执行hadoop作业时成功的，但是过了一段时间之后会一直卡着不能继续执行，想要重启集群，但是考虑到可能会造成数据丢失，这种情况下该怎么办呢。

现象如下：
20/08/04 11:02:53 INFO input.FileInputFormat: Total input paths to process : 1
20/08/04 11:02:53 INFO mapreduce.JobSubmitter: number of splits:1
20/08/04 11:02:53 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1596505147038_0005
20/08/04 11:02:54 INFO impl.YarnClientImpl: Submitted application application_1596505147038_0005
20/08/04 11:02:54 INFO mapreduce.Job: The url to track the job: http://yunslave1:8088/proxy/application_1596505147038_0005/
20/08/04 11:02:54 INFO mapreduce.Job: Running job: job_1596505147038_0005