mrunit --- mapereduce测试框架

MRUnit的那些坑
1. Maven无法成功导入org.apache.mrunit

无法成功导入mrunit

提示:

Unresolved dependency:’org.apache.mrunit:mrunit:jar….’

原因:没有确定版本

解决方法:在<dependency></dependency>中间的语句块加上一行

<classifier>hadoop2</classifier>


从而将版本确定,问题解除

参考文章: 
https://stackoverflow.com/questions/26432570/mrunit-dependency-latest-in-cloudera-repository

 

2. .withMapper()方法无法过编译


提示:

Error:(30, 29) java: 不兼容的类型: 
max_weather.MaxTemperatureMapper无法转换为
org.apache.hadoop.mapred.Mapper<org.apache.hadoop.io.LongWritable,org.apache.hadoop.io.Text,org.apache.hadoop.io.Text,org.apache.hadoop.io.IntWritable>


原因:错误地引用了mrunit包下针对旧API的MapDriver

解决方法:修改引用,将

import org.apache.hadoop.mrunit.MapDriver;

改为

import org.apache.hadoop.mrunit.mapreduce.MapDriver;



转载:https://blog.csdn.net/Xiblade/article/details/80559683

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值