bitcarmanlee的博客

米厂的小码农,专注数据与算法,qq群:397173819

hadoop 代码中获取文件名

在hadoop的MR相关代码中,经常需要获得mapper输入的文件名,从而针对不同的文件进行不同的操作。下面简单地介绍一下如果在MR代码中获取文件名

1.在streaming中获取文件名

实际中经常用python开发streaming程序,在python代码中可以用如下方式获得文件名:

import os

filepath = os.environ["mapreduce_map_input_file"]

通过上面的代码即可达到获取文件名的目的,通过代码也很容易看出,文件名保存在名为mapreduce_map_input_file的环境变量中。

需要稍微注意的地方有两点:
1.filepath保存的是文件在hdfs上的完整路径。
2.新版本的api为mapreduce_map_input_file,老版本的api为map_input_file,在集群上尝试了老版本的api,代码会报错。

2.在java代码中获取文件名

在java代码中获取文件名,需要得到input split 所在的文件名,需要从map函数中的context参数着手。

// 获取 input split 所在的文件名
private String getFileName(MapContext context) {
    return ((FileSplit) context.getInputSplit()).getPath().getName();
}

如果需要获得在hdfs上的绝对路径,可以用以下代码实现:

String filepath = ((FileSplit)context.getInputSplit()).getPath().toString();

获取文件名的大致流程为:Context(map函数里) → InputSplit → FileSplit → Path → String(file name)。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/bitcarmanlee/article/details/51735053
个人分类: hadoop
上一篇SQL操作结果集-并集,差集,交集,结果集排序
下一篇hive 窗口函数 应用场景与实战详解
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭