[Nutch]编译hadoop出现object[]无法转换为K[]问题解决

最新推荐文章于 2022-12-15 08:43:13 发布

kandy_ye

最新推荐文章于 2022-12-15 08:43:13 发布

阅读量2.6k

点赞数 1

分类专栏： Nutch Nutch深入学习文章标签： nutch hadoop 类型转换

本文链接：https://blog.csdn.net/Kandy_Ye/article/details/51693079

版权

在使用JDK8编译hadoop 1.2.1时遇到object[]无法转换为K[]的问题。通过修改hadoop源码InputSampler.java中319行左右的代码，将`object[] samples = split.sample();`改为`K[] samples = (K[]) Array.newInstance(split.getValueClass(), numSamples);`，解决了该问题。随后重新编译hadoop即可。" 78827791,6683367,深入理解KMP算法：原理与实现,"['算法', '字符串处理', '编程']

摘要由CSDN通过智能技术生成

1. 问题描述

在使用JDK8编译hadoop 1.2.1的时候会出现object[]无法转换为K[]的问题，如下：
这里写图片描述

2. 问题解决

（1）打开hadoop目录下的InputSampler.java文件，路径如下：
hadoop-1.2.1\src\mapred\org\apache\hadoop\mapreduce\lib\partition\InputSampler.java

（2）大概319行找到如下内容：

    final InputFormat inf = 
        ReflectionUtils.newInstance(job.getInputFormatClass(), conf);
    int numPartitions = job.getNumReduceTasks();
    K[] samples = sampler.getSample(inf, job);
    LOG.info