hadoop 由job.setOutPutKeyClass和job.setOutPutValueClass引发的键值对输出类型不匹配错误

原创 2015年07月09日 09:25:20

早晨写了个关于专利数目统计的MapReduce程序,运行后发现:


错误上说Map函数的Key类型与设置的不一样,仔细一查发现

原来job.setOutputKeyClass和job.setOutputValueClass默认情况下同时设置Map和Reduce的输出,如果Map和Reduce设置的输出类型不相同就是报错,这时候就需要用到专门设置Map的job.setMapOutputKeyClass和job.setMapOutputValueClass,添加上后,运行正确。



hadoop 的job.setOutputKeyClass和job.setOutputValueClass的几个问题

昨天写了一个mapreduce函数一直有错误,找不到,今天找了一天终于解决了,原来是hadoop 的job.setOutputKeyClass和job.setOutputValueClas设置输出的问...

job.setOutputKeyClass的配置问题

初学hadoop就要上项目,真是捉急啊!遇到这个配置问题,整了好久,更捉急! 问题是这样的:在配置mapreduce的job时,总是报 1. java.io.IOException: wrong ...

setOutputValueGroupingComparator与setOutputKeyComparatorClass

如果需要中间过程对key的分组规则和reduce前对key的分组规则不同,那么可以通过 JobConf.setOutputValueGroupingComparator(Class)来指定一个Comp...

运行一个Hadoop Job所需要指定的属性

1、设置job的基础属性 Job job = new Job(); job.setJarByClass(***.class); job.setJobName(“job name”); job.setN...

Hadoop Job在集群上运行出现“Error initializing”错误

Hadoop Job在集群上运行出现Error initializing错误: Error initializing attempt_201310091439_334992_m_000006_0: ...
  • lsrmake
  • lsrmake
  • 2013年10月24日 12:58
  • 1573

hadoop 中hive查询表时出现无法使用mayreduce job任务 错误

hadoop中使用hive+mysql 对表进行查询时,只能全表查询,不能对查询显示部分列。希望大虾们能给出解决办法,具体如下:    1 使用 select * from student;    ...

Hadoop 多输入和多输出研究(如何在Job History中获取相关信息)

Hadoop FileInputFormat多输入使用FileInputFormat来指定多个输入.当我们使用FileInputFormat.setInputPaths(JobConf conf, P...

hadoop job optimization

  • 2014年06月09日 15:58
  • 2.16MB
  • 下载

Datastage Routine示例---提取JOB错误信息录入到数据库

Datastage Routine示例——使用Routine提取JOB错误信息录入数据库 环境:Red Hat Linux AS 4 + Datastage EE 7.5.2 + Oracle 10...
  • wto3309
  • wto3309
  • 2012年10月09日 14:07
  • 2271
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop 由job.setOutPutKeyClass和job.setOutPutValueClass引发的键值对输出类型不匹配错误
举报原因:
原因补充:

(最多只允许输入30个字)