job.setOutputKeyClass的配置问题

最新推荐文章于 2021-03-19 04:15:49 发布
最新推荐文章于 2021-03-19 04:15:49 发布
阅读量3.5k 收藏 1
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/juanjuan1314/article/details/51523631
版权

初学hadoop就要上项目，真是捉急啊！遇到这个配置问题，整了好久，更捉急！

问题是这样的：在配置mapreduce的job时，总是报

1. java.io.IOException: wrong value class: class org.apache.hadoop.io.NullWritable is not class org.apache.hadoop.io.IntWritable

或2. expected org.apache.hadoop.io.**, received org.apache.hadoop.io.**。

出错点在job.setOutputKeyClass(**.class);job.setOutputValueClass(**.class);

当配置成mapper的输出，会报第1个错误，配置成reducer的输出会报第2个错误。

百度了一下，说是如果只设置Output，所设置的是mapper和reducer的输出，如果两者输出一致，则ok，如果不一致，就会报错。于是添加了job.setMapOutputKeyClass(**.class);job.setMapOutputValueClass(**.class);

还是要报错（不要这样对我嘛！）


可是同事的配置却可以运行，话说这里他配的是和我是一样的呀。（人品问题？）

没有办法，把他的程序拿来仔细对比了一下，唯一的差异是他没有配置job.setCombinerClass，而我配了。原来如此（隐藏够深啊！让姐姐我找了半天）

分析原因：

如果配置了setCombinerClass（模板里配置了的），正确的数据流：mapper(k1,v1,k2,v2)->combine(k2,v2,k3,v3)->reducer(k3,v3,k4,v4)。但是通常把combineClass设置为reducer，这样，实际的数据流：mapper(k1,v1,k2,v2)->combine(k2,v2,k3,v3)->reducer(k2,v2,k3,v3)。肯定会出错呀。

因此，可以注释掉setCombinerClass，实在需要，再视情况而定。


另外，如果加了job.setMapOutputKeyClass(**.class); job.setMapOutputValueClass(**.class);那job.setOutputKeyClass(**.class);job.setOutputValueClass(**.class);设置为reducer的输出格式，如果没有设前者，那后者应该设置为mapper的输出格式。（亲测！正解！）


老笨妞
关注
hadoop 由job.setOutPutKeyClass和job.setOutPutValueClass引发的键值对输出类型不匹配错误
qiaotongzxcv的专栏
07-09 705
早晨写了个关于专利数目统计的MapReduce程序，运行后发现： 错误上说Map函数的Key类型与设置的不一样，仔细一查发现 原来job.setOutputKeyClass和job.setOutputValueClass默认情况下同时设置Map和Reduce的输出，如果Map和Reduce设置的输出类型不相同就是报错，这时候就需要用到专门设置Map的job.setMapOutput
hadoop中的job.setOutputKeyClass与job.setMapOutputKeyClass
weixin_30752699的博客
05-12 210
　　初学mr时，觉得没什么，但是学了一段时间，重新复习时发现程序中mr程序中一般都会有 hadoop中的job.setOutputKeyClass(theClass)与job.setOutputValueClass(theClass)， 但是有的程序处理以上两个外还有job.setMapOutputKeyClass(theClass）与job.setMapOu tputValueClass(...
hadoop 的job.setOutputKeyClass和job.setOutputValueClass的几个问题
hechenghai
06-16 7085
昨天写了一个mapreduce函数一直有错误，找不到，今天找了一天终于解决了，原来是hadoop 的job.setOutputKeyClass和job.setOutputValueClas设置输出的问题。 job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出，也就是说只有map和reduce输出是
Hadoop中的setOutputKeyClass和setOutputValueClass
阿珂学编程
08-26 5707
mapreduce的数据流如下： Mapper
setMapoutputKeyClass()方法
maixia24的专栏
11-01 4620
mapJoinJob.setMapOutputKeyClass(Text.class); mapJoinJob.setMapOutputValueClass(SimItem.class); 这两个方法是map端输出的数据类型，默认的是LongWritable.class Text.class
public class main { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { Configuration conf = new Configuration(); conf.set("mapreduce.framework.name", "local"); Job job = Job.getInstance(conf); job.setJarByClass(main.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); //设置Reduce节点的个数为：1个 空1：_________________________________ FileInputFormat.setInputPaths(job, new Path("D:/mr/input")); FileOutputFormat.setOutputPath(job, new Path("D:/mr/output")); boolean res = job.waitForCompletion(true); System.exit(res ? 0 : 1); }
06-02
在这个程序中，首先创建了一个 Configuration 对象，用于存储 Hadoop 集群的配置信息。然后创建了一个 Job 对象，设置了 Mapper 和 Reducer 类，以及输入和输出数据的格式和路径。其中，setInputPaths() 方法指定了...
Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.146.81:9000"); Job job = Job.getInstance(conf); job.setJarByClass(WeatherDriver.class); job.setMapperClass(WeatherMapper.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(WeatherBean.class); job.setReducerClass(WeatherReducer.class); job.setOutputKeyClass(NullWritable.class); job.setOutputValueClass(WeatherBean.class); //job.setNumReduceTasks(0); FileInputFormat.setInputPaths(job, new Path("/weather/input/china_data.txt")); Path out = new Path("/weather/out"); FileSystem fs = FileSystem.get(new URI("hdfs://192.168.146.81:9000"), conf, "root"); if(fs.exists(out)) { fs.delete(out, true); } FileOutputFormat.setOutputPath(job, out); boolean flag = job.waitForCompletion(true); System.out.println(flag ? 0 : 1);是干啥的
06-09
这是一个使用Hadoop MapReduce框架实现的天气数据处理程序，主要功能是读取位于HDFS上的输入文件，对其中的数据进行处理，并将结果...在代码中，还包括了一些与Hadoop相关的配置信息，以及一些文件读写和删除的操作。
解释此段代码：public class CarCountDriver { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { Configuration configuration = new Configuration(); Job job = Job.getInstance(configuration,"计算车辆占比"); job.setJarByClass(CarCountDriver.class); job.setMapperClass(CarCountMapper.class); job.setReducerClass(CarCountReduce.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(LongWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(LongWritable.class); String[] arg=new GenericOptionsParser(configuration,args).getRemainingArgs(); String inputPath = arg[0]; String outputPath=arg[1]; FileInputFormat.setInputPaths(job,new Path(inputPath)); FileOutputFormat.setOutputPath(job,new Path(outputPath)); String file = "C:\\Users\\DELL\\Desktop\\Cars.csv"; FileInputFormat.setInputPaths(job,new Path(file)); String outputPath = "D:\\maven_hdfs\\hdfs-client\\output"; FileOutputFormat.setOutputPath(job,new Path(outputPath)); boolean ret = job.waitForCompletion(true); System.out.println(ret?"执行完毕":"异常终止"); } }
05-30
1. 创建了一个 Configuration 对象，用于管理 Hadoop 的配置信息。 2. 创建了一个 Job 对象，用于表示一个 Hadoop MapReduce 作业。 3. 设置了作业的 Jar 包路径和 Mapper、Reducer 类。 4. 设置了 Mapper 的输出键...
public class MarketShareDriver { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf); job.setJarByClass(MarketShareDriver.class); job.setMapperClass(MarketShareMapper.class); job.setReducerClass(MarketShareReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(Text.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); Path inPath = new Path("data/phone.txt"); FileInputFormat.setInputPaths(job,inPath); Path outPath = new Path("data/PhoneMarketShare"); FileSystem fs = outPath.getFileSystem(conf); if (fs.exists(outPath)){ fs.delete(outPath,true); } FileOutputFormat.setOutputPath(job,outPath); boolean b = job.waitForCompletion(true); // 设置数据库连接信息 String dbUrl = "jdbc:mysql://localhost:3306/phone"; String dbUsername = "root"; String dbPassword = "root"; DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver", dbUrl, dbUsername, dbPassword); try (Connection connection = DriverManager.getConnection(dbUrl, dbUsername, dbPassword)) { String createTableSql = "CREATE TABLE IF NOT EXISTS operator_market_share(operator VARCHAR(255), market_share DOUBLE)"; PreparedStatement preparedStatement = connection.prepareStatement(createTableSql); preparedStatement.executeUpdate(); } System.exit(b ? 0 : 1); } } 在这段代码的基础上怎么把结果输入到mysql
最新发布
06-12
这行代码将配置数据库连接信息。 4. 在Reducer类中，在reduce函数中添加以下代码： ```java String insertTableSql = "INSERT INTO operator_market_share (operator, market_share) VALUES (?, ?)"; Connection ...
public class AvgScore extends Configured implements Tool{ @Override public int run(String[] args) throws Exception { if(args.length!=3){ System.err.println("demo.AvgScore <input> <output> <splitter>"); System.exit(-1); } Configuration conf=getMyConfiguration(); conf.set("SPLITTER", args[2]); Job job=Job.getInstance(conf, "avgScore"); job.setJarByClass(AvgScore.class); job.setMapperClass(AvgScoreMapper.class); job.setReducerClass(AvgScoreReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(DoubleWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileSystem.get(conf).delete(new Path(args[1]), true); FileOutputFormat.setOutputPath(job, new Path(args[1])); return job.waitForCompletion(true)?-1:1; } public static void main(String[] args) { String[] myArgs={ "/user/root/score", "/user/root/avgscore", "," }; try { ToolRunner.run(getMyConfiguration(), new AvgScore(), myArgs); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } } public static Configuration getMyConfiguration(){ //声明配置 Configuration conf = new Configuration(); conf.setBoolean("mapreduce.app-submission.cross-platform",true); conf.set("fs.defaultFS", "hdfs://master:8020");// 指定namenode conf.set("mapreduce.framework.name","yarn"); // 指定使用yarn框架 String resourcenode="master"; conf.set("yarn.resourcemanager.address", resourcenode+":8032"); // 指定resourcemanager conf.set("yarn.resourcemanager.scheduler.address",resourcenode+":8030");// 指定资源分配器 conf.set("mapreduce.jobhistory.address",resourcenode+":10020"); conf.set("mapreduce.job.jar",JarUtil.jar(AvgScore.class)); return conf; } }对这段代码进行解释
06-11
接着创建一个 Job 对象并设置 Mapper 和 Reducer 类，以及输出键值对类型。然后指定输入和输出路径，并提交作业并等待其完成。 在 main() 方法中，设置了输入和输出路径以及分隔符，并通过 ToolRunner.run() 方法...
java jobkey_java-Driver中的job.setOutputKeyClass和setOutputValue...
weixin_35398720的博客
02-24 243
驱动程序代码：public class WcDriver {public static void main(String[] args) throws IOException,InterruptedException, ClassNotFoundException {Configuration conf = new Configuration();Job job = new Job(conf, "...
setOutputValueGroupingComparator与setOutputKeyComparatorClass
chjjunking的专栏
09-04 3274
如果需要中间过程对key的分组规则和reduce前对key的分组规则不同，那么可以通过 JobConf.setOutputValueGroupingComparator(Class)来指定一个Comparator。再加上 JobConf.setOutputKeyComparato
mapreduce设置setMapOutputKeyClass与setMapOutputValueClass原因
weixin_30606669的博客
04-14 333
一般的mapreduce的wordcount程序如下： public class WcMapper extends Mapper<LongWritable, Text, Text, LongWritable> { @Override protected void map(LongWritable key, Text value, Context ctx) ...
hadoop java类型,java – 错误的值类：类org.apache.hadoop.io.Text不是类org.apache.hadoop.io.IntWritable...
weixin_30863333的博客
03-19 1249
我使用了一个mapper,一个reducer和一个combiner类,但是我得到的错误如下：java.io.IOException: wrong value class: class org.apache.hadoop.io.Text is not class org.apache.hadoop.io.IntWritableat org.apache.hadoop.mapred.IFile$Wri...
2020-09-17
ADCarryi的博客
09-24 130
Driver 思路： 注释已经标好 这个类需要改的地方 1.` 输入输出的地址 Path inpath=new Path("D:\\About_study\\idea\\workplace\\input\\weatherdata.txt"); Path outpath=new Path("D:\\About_study\\idea\\workplace\\output2"); 2` Map和Reducer的key和value的类型 主义和前面所对应， //4设置mapper阶段输
MapReduce实现数据去重、数据排序、求平均值、多列单行输出
沐雨金鳞
01-27 4853
写这篇博客的目的： 1、简单实现数据去重 其实就是将数据的个数设置成空值，输出不显示就OK了 2、简单实现数据排序 因为MapReduce会自动根据key值按字典序排序，所以我们将数据转化为IntWritable类型作为key值即可 3、简单的求成绩平均值（单个文件和多个文件） 分割数据，然后将成绩转化成IntWritable类型，求平均值写入即可 4、将人名对应数据（多列）单行输出 其实
Hadoop作业构建中的主要方法
wenpu_Di
11-19 368
在主函数里边有几个方法的说明：Configuration conf = new Configuration(); // 配置设定 Job job = Job.getInstance(conf, “word count”); // 得到作业 job.setJarByClass(WordCount.class); // 主类名job.setOutputKeyClass(); //
wrong value class: class org.apache.hadoop.io.IntWritable is not class org.a
weixin_43404791的博客
12-10 770
https://blog.csdn.net/zjml2412/article/details/7913332
大数据离线流程（小练习）
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
01-09 7318
原始数据： LZi2ryWsShY!lovejoy71!433!People & Blogs!111!47234!4.94!65!32!9G3rVGW4JrI!UnfbKKvUG9Q!753jCzdr_4w!QwNb2WZu8hE!0KyD0ZA2RRY!T6_91j86v5I!yJDPn0sPgus!uz50jqNcHRw!cFQUvZD8X0w!kHkdIiadj7E!Y0cHBgz...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值