本文档详细记录了一起在命令行运行MapReduce程序时，动态指定资源池无效的问题。问题出现在Cloudera Manager上，通过对比发现，自定义的MapReduce代码未继承`Configured`类和实现`Tool`接口。解决方案是添加相关继承和实现，使得`GenericOptionsParser`能正确解析命令行参数，从而使动态参数生效。总结中强调了继承`Configured`和实现`Tool`的重要性，以及这样做带来的灵活性和便捷性。
1 文档编写目的
在本地完成MapReduce程序的开发后，打包提交到服务器上，然后在命令行使用hadoop jar命令运行，并在运行时动态的指定参数（如：Map和Reduce的内、资源池等参数）。通过在命令行添加“-D mapreduce.job.queuename=资源池名”的方式来指定。本篇文章Fayson主要讲述动态指定MapReduce作业参数无效问题分析。
2 问题描述
Cloudera Manager上资源池放置规则如下：放置规则第一条指定的池不存在时，则自动创建。
在命令行执行如下命令，指定作业到root.test资源池下：
hadoop jar xxx.jar -D mapreduce.job.queuename=root.test
最低0.47元/天 解锁文章
120
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
