hadoop 由job.setOutPutKeyClass和job.setOutPutValueClass引发的键值对输出类型不匹配错误

原创 2015年07月09日 09:25:20

早晨写了个关于专利数目统计的MapReduce程序,运行后发现:


错误上说Map函数的Key类型与设置的不一样,仔细一查发现

原来job.setOutputKeyClass和job.setOutputValueClass默认情况下同时设置Map和Reduce的输出,如果Map和Reduce设置的输出类型不相同就是报错,这时候就需要用到专门设置Map的job.setMapOutputKeyClass和job.setMapOutputValueClass,添加上后,运行正确。



Hadoop集群_WordCount运行详解

MapReduce理论介绍和示例程序WordCount解析
  • kydkong
  • kydkong
  • 2015年11月23日 12:39
  • 404

读写parquet格式文件的几种方式

转:http://blog.csdn.net/woloqun/article/details/76068147 摘要 本文将介绍常用parquet文件读写的几种方式 1.用spark...
  • kaaosidao
  • kaaosidao
  • 2017年09月25日 18:31
  • 563

job.setOutputKeyClass的配置问题

初学hadoop就要上项目,真是捉急啊!遇到这个配置问题,整了好久,更捉急! 问题是这样的:在配置mapreduce的job时,总是报 1. java.io.IOException: wrong ...
  • juanjuan1314
  • juanjuan1314
  • 2016年05月28日 10:42
  • 1276

hadoop 的job.setOutputKeyClass和job.setOutputValueClass的几个问题

昨天写了一个mapreduce函数一直有错误,找不到,今天找了一天终于解决了,原来是hadoop 的job.setOutputKeyClass和job.setOutputValueClas设置输出的问...
  • hechenghai
  • hechenghai
  • 2015年06月16日 11:50
  • 5069

setPartitionerClass、setOutputKeyComparatorClass 与 setOutputValueGroupingComparator

Partitioner这个类是用来决定map输出时,什么样的key输出到同一个reduce节点(调用setPartitionerClass方法),但不保证到同一个reduce节点的key会在同一个gr...
  • chjjunking
  • chjjunking
  • 2011年09月04日 13:45
  • 5446

读写parquet格式文件的几种方式

摘要 文章地址:http://www.fanlegefan.com/index.php/2017/07/15/hive-parquet/ 博客地址:http://www.fanlegefan.com ...
  • woloqun
  • woloqun
  • 2017年07月25日 14:28
  • 7367

调用WCF时报错:服务器未提供有意义的回复;这可能是由协定不匹配、会话过早关闭或内部服务器错误引起的。

报错:服务器未提供有意义的回复;这可能是由协定不匹配、会话过早关闭或内部服务器错误引起的。 可能原因: 1、WCF中不允许在协议中定义一个类型而传输其子类型. 除非在该类型上定义了[KnownTyp...
  • Kinleyhao
  • Kinleyhao
  • 2014年02月27日 09:54
  • 3504

VB ListView 添加项时 类型不匹配 的问题

数据表 DEPTNAME  VARCHAR2(20 BYTE),   POSID    VARCHAR2(9 BYTE)                    NOT NULL,   OPERID  ...
  • jwhndsc
  • jwhndsc
  • 2008年10月14日 17:07
  • 1255

气象数据集例子Java程序代码

import java.io.*; import org.apache.*; import org.apache.hadoop.fs.Path; import org.apache.hadoop.i...
  • yukjin
  • yukjin
  • 2014年01月08日 11:47
  • 1125

协同过滤

为什么同现矩阵*评分矩阵=推荐结果 举个用户3对物品102是否感兴趣的例子: 用户3对所有物品的评分, 有评分说明用户3喜欢这东西 用户ID 物品ID1 ...
  • hl199612
  • hl199612
  • 2018年01月31日 19:49
  • 51
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop 由job.setOutPutKeyClass和job.setOutPutValueClass引发的键值对输出类型不匹配错误
举报原因:
原因补充:

(最多只允许输入30个字)