Mapreduce程序出错解决办法

【错误1】

描述 ：java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text
分析：
为什么呢？对于大多数的mapreduce程序而言，都是基于模板来写的，很少有人从一个空白来写出mapreduce程序，没有这个必要。问题就出在你的这个模板上，你的模板上可能有这么一句: job.setCombinerClass(Reduce.class);
这样一来数据流就变了，变成了map(k1, v1, k2, v2) ——> combiner(k2,list(v2), k3, v3) ——> reduce(k2,list(v2), k3, v3)
仔细看一下，如果从combiner到reduce是有问题的，如果(k3, v3)与(k2, v2)不相同的话，就会报错了！！！
所以这就是错误发生的根源，不要盲目地用combiner！！！给自己提个醒。
解决办法：
注释掉job.setCombinerClass(Reduce.class);
或者看一下你map的输出和reduce的输入是不是对应的，然后看看你的map和reduce里的参数和下面的是不是设置的一样。
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);

【错误2】

Configuration参数无法设置

一开始代码是这样写的 

        Configuration configuration = getConf();
Job job = new Job(configuration, "OverallSort");
job.setJarByClass(OverallSort.class);
FileInputFormat.setInputPaths(job, new Path("/csdn.txt"));
FileOutputFormat.setOutputPath(job, new Path("/output"));
configuration.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", "#");
job.setInputFormatClass(KeyValueTextInputFormat.class);

后来发现设置的分隔符“#”不起作用，思考了半天，发现应该把 configuration.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", "#");

上面的一句话放在初始化job之前。