MapReduce程序运行异常Container exited with a non-zero exit code 1. Error file: prelaunch.err.

我在搭建集群后,所有服务均可正常启动,但是在测试mapreduce任务的时候,总是提示错误,我在修改了各项配置,可是还是提示错误

以下是报错信息

Number of Maps  = 1
Samples per Map = 1
Wrote input for Map #0
Starting Job
2021-11-21 19:58:02,262 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/xiaoman/.staging/job_1637495728045_0002
2021-11-21 19:58:02,417 INFO input.FileInputFormat: Total input files to process : 1
2021-11-21 19:58:02,534 INFO mapreduce.JobSubmitter: number of splits:1
2021-11-21 19:58:02,784 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1637495728045_0002
2021-11-21 19:58:02,785 INFO mapreduce.JobSubmitter: Executing with tokens: []
2021-11-21 19:58:02,950 INFO conf.Configuration: resource-types.xml not found
2021-11-21 19:58:02,950 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
2021-11-21 19:58:03,027 INFO impl.YarnClientImpl: Submitted application application_1637495728045_0002
2021-11-21 19:58:03,072 INFO mapreduce.Job: The url to track the job: http://hadoop-168-0-112:8088/proxy/application_1637495728045_0002/
2021-11-21 19:58:03,073 INFO mapreduce.Job: Running job: job_1637495728045_0002
2021-11-21 19:58:17,299 INFO mapreduce.Job: Job job_1637495728045_0002 running in uber mode : false
2021-11-21 19:58:17,300 INFO mapreduce.Job:  map 0% reduce 0%
2021-11-21 19:58:17,325 INFO mapreduce.Job: Job job_1637495728045_0002 failed with state FAILED due to: Application application_1637495728045_0002 failed 2 times due to AM Container for appattempt_1637495728045_0002_000002 exited with  exitCode: 1
Failing this attempt.Diagnostics: [2021-11-21 19:58:16.237]Exception from container-launch.
Container id: container_e05_1637495728045_0002_02_000001
Exit code: 1
​
[2021-11-21 19:58:16.298]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
​
​
[2021-11-21 19:58:16.299]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
​
​
For more detailed output, check the application tracking page: http://hadoop-168-0-112:8088/cluster/app/application_1637495728045_0002 Then click on links to logs of each attempt.
. Failing the application.
2021-11-21 19:58:17,391 INFO mapreduce.Job: Counters: 0
Job job_1637495728045_0002 failed!

我在确定不启动集群,只是在一个节点运行mapreduce任务的时候,是没有问题的,但是启动集群后,反而不能运行成功,怀疑可能是集群配置有问题,在集群启动后ResourceManager这边出现了问题(没有启动集群的时候,是没有运行ResourceManager服务的,所以不需要用到ResourceManager调度,这时执行任务没有出现问题,而启动后ResourceManager会对整个集群的资源进行调度,这时跑任务反而出现了问题,所以ResourceManager嫌疑最大),查了几天资料都没找到相关信息,结果一个偶然找到了下面博主的一篇文章Mapreduce运行异常Container exited with a non-zero exit code 1

终其原因还是配置的问题,在hadoop3.0需要加上ResourceManager的webapp地址参数配置,yarn.resourcemanager.webapp.address.rm1, yarn.resourcemanager.scheduler.address.rm2,加上这两个配置后任务就可以成功运行了。

下面是博主的原文,有兴趣的可以去看看。

Mapreduce运行异常Container exited with a non-zero exit code 1_danielchan2518的专栏-CSDN博客用idea编写mapreduce读写hbase,并打包jar放到集群服务器上运行时出现下面错误:[2019-01-05 04:03:01.278]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes ...https://blog.csdn.net/danielchan2518/article/details/85887597

  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
根据提供的引用内容,"container exited with a non-zero exit code 239. Error file: prelaunch.err" 是一个错误信息,表示容器以非零退出代码239退出,并且错误文件为prelaunch.err。这通常意味着在容器运行过程中发生了错误。 要解决这个问题,可以尝试以下几个步骤: 1. 检查错误文件:prelaunch.err是一个错误文件,其中可能包含有关容器退出的更多详细信息。你可以查看该文件以了解更多信息,例如具体的错误消息或异常堆栈跟踪。 2. 检查日志文件:除了prelaunch.err之外,还应该检查其他日志文件,例如应用程序的日志文件或容器管理器的日志文件。这些日志文件可能包含有关容器退出的更多信息,帮助你确定问题的根本原因。 3. 检查资源限制:容器退出的原因可能是由于资源限制导致的。你可以检查容器的资源配置,例如内存限制、CPU限制等,确保它们足够满足应用程序的需求。 4. 检查应用程序配置:容器退出的原因可能与应用程序的配置有关。你可以检查应用程序的配置文件,确保它们正确设置,并且没有任何错误或冲突。 5. 检查依赖项:容器退出的原因可能是由于缺少或错误的依赖项导致的。你可以检查应用程序的依赖项,确保它们正确安装并且与应用程序兼容。 6. 检查网络连接:容器退出的原因可能与网络连接有关。你可以检查网络连接是否正常,并确保容器可以访问所需的资源和服务。 请注意,以上步骤仅为一般性建议,具体解决方法可能因环境和具体情况而异。如果以上步骤无法解决问题,建议查阅相关文档或寻求专业支持以获取更详细的帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值