Mapreduce中获取输入文件名及路径的方法

最新推荐文章于 2020-12-29 15:45:59 发布

YF_Li123

最新推荐文章于 2020-12-29 15:45:59 发布

阅读量3.5k

点赞数 3

分类专栏： hadoop学习笔记文章标签： mapreduce 文件名输入获取路径

本文链接：https://blog.csdn.net/YF_Li123/article/details/89322586

版权

在MapReduce中，获取输入文件名通常不是直接的。对于TextInputFormat类型的文件，可以直接在map函数中获取；但使用MultipleInputs.addInputPath时，需要特殊处理，避免ClassCastException。解决方案包括修改输入路径添加方式和应对MultipleInputs的复杂情况。参考Stack Overflow上的相关讨论。

摘要由CSDN通过智能技术生成

在map函数中想要获取当前split所读取的文件名，方法如下：

1 不通用方法

1 如果读入的文件类型为 TextInputFormat，则获取文件名如下：

String filePath = context.getConfiguration().get("mapreduce.map.input.file");
Path tmpFilePath = new Path(filePath);

// 获取文件路径
filePath = tmpFilePath.getParent().toUri().getPath();

// 获取文件文件名
String fileName = tmpFilePath.getName();

2 通用方法

import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

InputSplit inputSplit =context.getInputSplit();

// 获取文件名
String fileName = ((FileSplit)inputSplit).getPath().getName();

// 获取文件路径
String filePath = ((FileSplit)inputSplit).getPath().getParent().toUri().getPath();

该方法在使用 MultipleInputs.addInputPath 时有时候会报一个错误