hadoop的MR当用MultipleInputs时要获取文件路径方法

最新推荐文章于 2020-11-21 12:36:42 发布

cuilanbo

最新推荐文章于 2020-11-21 12:36:42 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： Hadoop

本文链接：https://blog.csdn.net/cuilanbo/article/details/25722489

hadoop 专栏收录该内容

13 篇文章

订阅专栏

本文详细介绍了如何在Hadoop MR的MultipleInputs模式下，通过反射技术获取文件路径，解决了一个常见的ClassCastException问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop的MR当用MultipleInputs时，要获取文件路径的话比较麻烦，需要如下代码

protected void setup(Context context) throws IOException,
        InterruptedException {
    InputSplit split = context.getInputSplit();
    Class<? extends InputSplit> splitClass = split.getClass();

    FileSplit fileSplit = null;
    if (splitClass.equals(FileSplit.class)) {
        fileSplit = (FileSplit) split;
    } else if (splitClass.getName().equals(
            "org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit")) {
        // begin reflection hackery...

        try {
            Method getInputSplitMethod = splitClass
                    .getDeclaredMethod("getInputSplit");
            getInputSplitMethod.setAccessible(true);
            fileSplit = (FileSplit) getInputSplitMethod.invoke(split);
        } catch (Exception e) {
            // wrap and re-throw error
            throw new IOException(e);
        }

        // end reflection hackery
    }
}

参考链接： http://stackoverflow.com/questions/11130145/hadoop-multipleinputs-fails-with-classcastexception