hadoop map reduce 过程获取环境变量

最新推荐文章于 2024-04-13 08:08:18 发布

lmc_wy

最新推荐文章于 2024-04-13 08:08:18 发布

阅读量4.6k

点赞数

分类专栏： linux hadoop 文章标签： hadoop input parameters 任务 path mapreduce

本文链接：https://blog.csdn.net/lmc_wy/article/details/7779261

版权

本文介绍了如何在Hadoop MapReduce任务中获取环境变量，特别是针对map和reduce节点，以便利用这些变量来获取当前处理的数据文件路径。示例展示了在Mapper类中使用Java API获取输入文件路径，并探讨了在Streaming任务中获取环境变量的方法。

摘要由CSDN通过智能技术生成

hadoop任务执行过程中，在每一个map节点或者reduce节点能获取一下环境变量，利用这些变量可以为特殊的需求服务，例如：获取当前map节点处理的数据文件的路径。

hadoop是java实现的，利用java可以很方便的获取相关环境变量，其内部包含在Context和MRJobConfig中（hadoop版本不一样，可能会有区别，我的hadoop是0.21）。

举例：

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.MRJobConfig;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

public class MergeDaysMapper extends Mapper<LongWritable, Text, Text, Text> {

private String inputFile = null;

public void setup(Context context)
{
System.err.println("[STARTS TO GET PARAMETERS OF THIS JOB]");
Path input = ((FileSplit)context.getInputSplit()).getPath();
inputFile = input.toString();
System.err.println("Input: "+ input.toString());