1 文档编写目的
在本地完成MapReduce程序的开发后,打包提交到服务器上,然后在命令行使用hadoop jar命令运行,并在运行时动态的指定参数(如:Map和Reduce的内、资源池等参数)。通过在命令行添加“-D mapreduce.job.queuename=资源池名”的方式来指定。本篇文章Fayson主要讲述动态指定MapReduce作业参数无效问题分析。
2 问题描述
Cloudera Manager上资源池放置规则如下:放置规则第一条指定的池不存在时,则自动创建。
在命令行执行如下命令,指定作业到root.test资源池下:
hadoop jar xxx.jar -D mapreduce.job.queuename=root.test