本文介绍了如何在Hadoop作业中通过命令行传递参数给Mapper和Reducer。通常，命令行参数用于输入和输出路径，但通过分析源代码，作者发现可以在创建Job对象前设置自定义配置参数，然后在Mapper和Reducer的Context中通过getConfiguration()获取。如果在创建Job后设置参数，将不会传递给任务。文章还探讨了Configuration、JobConf、JobContext和Job之间的关系，揭示了为何在Job创建后修改Configuration参数无效的原因。
在Hadoop-1.2.1进行作业开发时，由于输入文件的特殊性，需要将日期作为参数传递到Mapper和Reducer任务。而通常情况下在使用hadoop jar运行作业时，传递的参数为输入文件路径和输出文件路径，那如何做到添加额外参数到作业中呢？仔细分析一下作业类的run方法，并结合Hadoop API可以粗略的推断出：可以在core-site.xml文件中添加参数及参数值实现向作业传递参数。但该方法比较笨拙，一是因为不同作业可能需要的参数不同，若存在多个需要参数的作业势必导致core-site.xml文件增大，二是因为这种方式不够灵活，若需要不同的参数值，则必须修改core-site.xml文件并重新启动Hadoop集群。显然在运行多个作业，规模较大的集群该方法是不太可行的。既然可以通过命令行向作业传递输入和输出目录，是否可以通过命令行向作业传递特殊参数呢？答案是肯定的。
由于Configuration 支持以编程的方式设置和获取参数，那就可以将命令行中的参数保存在Configuration ，然后在Mapper或者Reducer任务通过Configuration 的get方法获取该参数的值。在测试该方法之前，需要确定map和reduce方法是否可以取得Configuration 对象，结合API可以得出map和reduce方法中的Context对象可以通过方法getConfiguration()得到Configuration 对象，至此似乎一切都迎
订阅专栏 解锁全文
扫一扫
4423
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
