MRUnit测试WordCount

最新推荐文章于 2020-01-16 10:25:19 发布
最新推荐文章于 2020-01-16 10:25:19 发布
阅读量226 收藏
点赞数 1
分类专栏： 大数据 文章标签： MRUnit mapreduce WordCount
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_36710456/article/details/88182240
版权

pom

<dependency>
	<groupId>org.apache.mrunit</groupId>
	<artifactId>mrunit</artifactId>
	<version>1.1.0</version>
	<!--<scope>test</scope>-->
	<!--不加导包可能失败-->
	<classifier>hadoop2</classifier>
</dependency>

 

wordcount代码见：

https://blog.csdn.net/sinat_36710456/article/details/88127155

 

WordCountTest.java


import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mrunit.mapreduce.MapDriver;
import org.apache.hadoop.mrunit.mapreduce.MapReduceDriver;
import org.apache.hadoop.mrunit.mapreduce.ReduceDriver;
import org.apache.hadoop.mrunit.types.Pair;
import org.junit.Test;
import java.io.IOException;
import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;

public class WordCountTest {

    /**
     * @Author: w
     * @Description: 测试Mapper
     */
    @Test
    public void WordCountMapperTest() throws IOException {
        /** 构造输入值 */
        Pair<LongWritable, Text> line1 = new Pair<LongWritable, Text>(new LongWritable(0), new Text("zhangsan lisi wangwu"));
        Pair<LongWritable, Text> line2 = new Pair<LongWritable, Text>(new LongWritable(0), new Text("zhangsan lisi"));
        List<Pair<LongWritable, Text>> inList = new ArrayList<Pair<LongWritable, Text>>();
        inList.add(line1);
        inList.add(line2);

        /** 构造输出值 */
        Pair<Text, IntWritable> outputRecord1 = new Pair<Text, IntWritable>(new Text("zhangsan"), new IntWritable(1));
        Pair<Text, IntWritable> outputRecord2 = new Pair<Text, IntWritable>(new Text("lisi"), new IntWritable(1));
        Pair<Text, IntWritable> outputRecord3 = new Pair<Text, IntWritable>(new Text("wangwu"), new IntWritable(1));
        Pair<Text, IntWritable> outputRecord4 = new Pair<Text, IntWritable>(new Text("zhangsan"), new IntWritable(1));
        Pair<Text, IntWritable> outputRecord5 = new Pair<Text, IntWritable>(new Text("lisi"), new IntWritable(1));
        List<Pair<Text, IntWritable>> list = new ArrayList<Pair<Text, IntWritable>>();
        /* 特别注意:*/
        //（本人亲测）需要注意输出值顺序，否则测试不通过
        list.add(outputRecord1);
        list.add(outputRecord2);
        list.add(outputRecord3);
        list.add(outputRecord4);
        list.add(outputRecord5);

        new MapDriver<LongWritable, Text, Text, IntWritable>()
                // 配置mapper
                .withMapper(new WordCountMapper())
                //单行输入
//                .withInput(new LongWritable(0), new Text("zhangsan lisi wangwu"))
                //多行输入
                .withAll(inList)
                //单行输出
//                .withOutput(new Text("zhangsan"), new IntWritable(1))
                //多行输出
                .withAllOutput(list)
                .runTest();
    }


    /**
     * @Author: w
     * @Description: 测试Reducer
     */
    @Test
    public void WordCountReducerTest() throws IOException {
        /** 构造输入值 */
        List<IntWritable> zhangsanList = new ArrayList<IntWritable>();
        zhangsanList.add(new IntWritable(1));
        zhangsanList.add(new IntWritable(1));
        List<IntWritable> lishiList = new ArrayList<IntWritable>();
        lishiList.add(new IntWritable(1));
        lishiList.add(new IntWritable(1));
        List<IntWritable> wangwuList = new ArrayList<IntWritable>();
        wangwuList.add(new IntWritable(1));
        Pair<Text, List<IntWritable>> line1 = new Pair<Text, List<IntWritable>>(new Text("zhangsan"), zhangsanList);
        Pair<Text, List<IntWritable>> line2 = new Pair<Text, List<IntWritable>>(new Text("lisi"), lishiList);
        Pair<Text, List<IntWritable>> line3 = new Pair<Text, List<IntWritable>>(new Text("wangwu"), wangwuList);
        List<Pair<Text, List<IntWritable>>> inList = new ArrayList<Pair<Text, List<IntWritable>>>();
        inList.add(line1);
        inList.add(line2);
        inList.add(line3);

        /** 构造输出值 */
        Pair<Text, IntWritable> outputRecord1 = new Pair<Text, IntWritable>(new Text("zhangsan"), new IntWritable(2));
        Pair<Text, IntWritable> outputRecord2 = new Pair<Text, IntWritable>(new Text("lisi"), new IntWritable(2));
        Pair<Text, IntWritable> outputRecord3 = new Pair<Text, IntWritable>(new Text("wangwu"), new IntWritable(1));
        List<Pair<Text, IntWritable>> list = new ArrayList<Pair<Text, IntWritable>>();
        /* 特别注意:*/
        //（本人亲测）需要注意输出值顺序，否则测试不通过
        list.add(outputRecord1);
        list.add(outputRecord2);
        list.add(outputRecord3);

        new ReduceDriver<Text, IntWritable, Text, IntWritable>()
                //设置Reducer
                .withReducer(new WordCountReducer())
                //设置输入key和List
                .withAll(inList)
                //设置期望输出
                .withAllOutput(list)
                //运行测试
                .runTest();
    }


    /**
     * @Author: w
     * @Description: 测试Driver
     */
    @Test
    public void WordCountDriverTest() throws IOException {
        /** 构造输入值 */
        Pair<LongWritable, Text> line1 = new Pair<LongWritable, Text>(new LongWritable(0), new Text("zhangsan lisi wangwu"));
        Pair<LongWritable, Text> line2 = new Pair<LongWritable, Text>(new LongWritable(0), new Text("zhangsan lisi"));
        List<Pair<LongWritable, Text>> inList = new ArrayList<Pair<LongWritable, Text>>();
        inList.add(line1);
        inList.add(line2);

        /** 构造输出值 */
        Pair<Text, IntWritable> outputRecord1 = new Pair<Text, IntWritable>(new Text("zhangsan"), new IntWritable(2));
        Pair<Text, IntWritable> outputRecord2 = new Pair<Text, IntWritable>(new Text("lisi"), new IntWritable(2));
        Pair<Text, IntWritable> outputRecord3 = new Pair<Text, IntWritable>(new Text("wangwu"), new IntWritable(1));
        List<Pair<Text, IntWritable>> list = new LinkedList<Pair<Text, IntWritable>>();
        /* 特别注意:*/
        //（本人亲测）需要注意输出值顺序，否则测试不通过
        list.add(outputRecord2);
        list.add(outputRecord3);
        list.add(outputRecord1);

        new MapReduceDriver<LongWritable,Text,Text, IntWritable, Text, IntWritable>()
                //设置Mapper
                .withMapper(new WordCountMapper())
                //设置Reducer
                .withReducer(new WordCountReducer())
                //设置输入key和List
                .withAll(inList)
                //设置期望输出
                .withAllOutput(list)
                //运行测试
                .runTest();
    }


}

 

 

/* 特别注意:*/
//（本人亲测）需要注意输出值顺序，否则测试不通过。

eg:错误信息：

java.lang.AssertionError: 3 Error(s): (Missing expected output (zhangsan, 2) at position 0, got (lisi, 2)., Missing expected output (lisi, 2) at position 1, got (wangwu, 1)., Missing expected output (wangwu, 1) at position 2, got (zhangsan, 2).)

 字面意思：

期待输出：
   (zhangsan, 2)
   (lisi, 2)
   (wangwu, 1)


实际输出：
   (lisi, 2)
   (wangwu, 1)
   (zhangsan, 2)

根据错误提示，按照实际输出顺序，修改期待输出顺序即可。

 

完整代码见GitHub：https://github.com/666wg/mapreduce

 

 

sinat_36710456
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Idea结合MRUnit测试wordcount(Mapreduce作业)过程及出错记录
Leowang的博客
06-01 813
一 .为什么使用MapReduce？在Mapreduce中，map函数和reduce函数的独立测试非常方便，MRunit是一个测试库，它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。这里由于主要体会MRunit.就用了最简单jing'dian的wordcountMRUnit需要与Junit一起使用二 . MRUnit引入第一种方式：maven项目中,pom.xml设置...
云计算（二十三）-编写WordCount并使用MRUnit测试
DK的专栏
12-24 1481
1 建立一个java项目，将hadoop依赖的包导入项目中 2 创建Mapper类 public class MapperClass extends Mapper{ IntWritable one = new IntWritable(1); Text word = new Text(); protected void map(Object key, Text value,org.apac
Hadoop MRUnit测试
06-02
Hadoop MRUnit测试 工程用Maven构建，详细过程参见本人博客Maven构建一文
hadoop_mapreduce_MRUtil
子龙修仙的博客
05-19 293
1. 导入jar包MRUnit的jar包： 如果是直接导入的话，需要导入mrunit-1.1.0-hadoop2.jar，及上面压缩文件中lib下的所有jar包： 除了mockito-core-1.9.5.jar，因为会有冲突。如果是maven项目，导入： 2. 测试maper添加一个新类WordCountUnitTest：package com.harvetech.wordcount;impor...
mrunit测试插件
08-24
非常好用测试插件,在mapReduce下直接可以运行,本人亲测成功
Mrunit-1.1.0-hadoop2
12-21
《深入理解Mrunit-1.1.0-hadoop2：Hadoop MapReduce单元测试利器》 在大数据处理领域，Hadoop作为开源的分布式计算框架，为海量数据处理提供了强大支持。然而，随着项目的复杂度增加，确保代码的正确性和稳定性变得...
mrunit-1.1.0-hadoop2
05-17
mrunit mrunit mrunit mrunit
HadoopMapReduce作业的单元测试
03-02
使用MRUnit来编写HadoopMapReduce应用程序的JUnit测试2.使用PowerMock和Mockito模拟静态方法3.模拟其他类型中的业务逻辑（译注：也就是编写测试驱动模块）4.查看模拟的业务逻辑是否被调用（译注：测试驱动模块是否...
运行WordCount
辙忆
11-09 721
今天在eclipse下运行了WorldCount。 开始，直接new了一个project：MapReduce project。 import 了hadoop源码中的examples.org. 结果做导航栏没有DFS locations 字样，不明白。 检查preference中hadoop的地址设置是正确的，又重新配置了一下，还是无用。 不管它，接着配置run configurati
使用MRUnit写一个单元测试
fkbush的专栏
05-17 860
MapReduce的map和reduce函数可以很容易的分别测试。MRUnit是一个测试库，可以
2.mr对wordcount性能测试50g数据
kk25114的博客
01-16 529
1.对4.1中生成50g单词进行统计 基于mr磁盘测试 开始:19/12/27 16:23:45 结束:19/12/27 16:26:22 19/12/27 16:26:15 INFO mapreduce.Job: map 100% reduce 75% 19/12/27 16:26:16 INFO mapreduce.Job: map 100% reduce 82% ...
大数据CDH包下载
https://blog.csdn.net/sinat_36710456
11-15 2997
CDH的下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 例：下载 XXX-XXX-cdh5.3.6.tar.gz 进入下载页，ctrl+f 搜索 cdh5.3.6.tar.gz，找到对应的tar.gz包下载即可
Cannot use map-side combining with array keys
https://blog.csdn.net/sinat_36710456
12-28 2507
异常： Exception in thread "main" org.apache.spark.SparkException: Cannot use map-side combining with array keys 原因： 使用 reduceByKey、countByValue 等，需要使用 flatMap，如果用map处理会抛以上异常。flatMap：主要用于spark Streami...
hive自定义配置文件不生效
https://blog.csdn.net/sinat_36710456
11-29 2034
说明：只有在/opt/hive-0.13.1-cdh5.3.6/conf 目录下执行/opt/hive-0.13.1-cdh5.3.6/bin/hive命令时才可以连接mysql数据库。 在/opt/hive-0.13.1-cdh5.3.6 目录下执行bin/hive命令连接的是默认的derby数据库。 总结：即只有在hive的conf目录下执行命令，自定义的配置文件才生效。   具体原因...
spark的Driver节点和Executor节点
https://blog.csdn.net/sinat_36710456
12-12 1892
一、驱动器节点(Driver)      Spark的驱动器是执行开发程序中的 main方法的进程。它负责开发人员编写的用来创建SparkContext、创建 RDD，以及进行 RDD 的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动 Spark shell的时候，系统后台自启了一个 Spark 驱动器程序，就是在Spark shell 中预加载的一个叫作 sc 的...
Spark Streaming ------ 有状态转化和无状态转化
https://blog.csdn.net/sinat_36710456
01-10 1699
无状态转化： 每次计算的时间，仅仅计算当前时间切片的内容，每个批次处理都不依赖于先前批次的数据。 如，每次只计算1s时间内产生的RDD。 有状态转化： 依赖之前的批次数据或者中间结果来计算当前批次的数据，不断的把当前的计算和历史时间切片的RDD进行累计。 如，计算某个单词出现的次数，需要把当前的状态与历史的状态相累加，随着时间的流逝， 数据规模会越来越大，包括updateStat...
flatmap和map的区别（以Spark的WordCount为例）
https://blog.csdn.net/sinat_36710456
12-29 1663
/* wordcount.txt 张三 李四 王五 赵六 张三 张三 */ val rdd = sc.textFile("wordcount.txt") .flatMap(x=>x.split(" ")) .map(x=>(x,1)) .reduceByKey(_+_) ...
SparkSeesion读写mysql
https://blog.csdn.net/sinat_36710456
12-10 1541
package cn.xjw import org.apache.spark.SparkConf import org.apache.spark.sql.{SaveMode, SparkSession} //实体类 case class MY_TEST_DB(val id:Int,val name:String,password:String) object DB { def mai...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sinat_36710456

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值