java hadoop_单元测试Java Hadoop作业

java hadoop

在我以前的文章中，我展示了如何设置一个完整的基于Maven的项目，以用Java创建Hadoop作业。 当然并没有完成，因为它缺少单元测试部分。 在这篇文章中，我将展示如何将MapReduce单元测试添加到我之前开始的项目中。 对于单元测试，我使用MRUnit框架 。

• • 向pom添加必要的依赖项

将以下依赖项添加到pom：

<dependency>
   <groupId>org.apache.mrunit</groupId>
   <artifactId>mrunit</artifactId>
   <version>1.0.0</version>
   <classifier>hadoop1</classifier>
   <scope>test</scope>
</dependency>

这将使MRunit框架可用于该项目。

• • 添加单元测试以测试Map Reduce逻辑

该框架的使用非常简单，尤其是在我们的业务案例中。 因此，如果需要的话，我将仅显示单元测试代码和一些注释，但是我认为使用它非常明显。 映射程序“ MapperTest”的单元测试：

package net.pascalalma.hadoop;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mrunit.mapreduce.MapDriver;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;

/**
 * Created with IntelliJ IDEA.
 * User: pascal
 */
public class MapperTest {

    MapDriver<Text, Text, Text, Text> mapDriver;

    @Before
    public void setUp() {
        WordMapper mapper = new WordMapper();
        mapDriver = MapDriver.newMapDriver(mapper);
    }

    @Test
    public void testMapper() throws IOException {
        mapDriver.withInput(new Text("a"), new Text("ein"));
        mapDriver.withInput(new Text("a"), new Text("zwei"));
        mapDriver.withInput(new Text("c"), new Text("drei"));
        mapDriver.withOutput(new Text("a"), new Text("ein"));
        mapDriver.withOutput(new Text("a"), new Text("zwei"));
        mapDriver.withOutput(new Text("c"), new Text("drei"));
        mapDriver.runTest();
    }
}

这个测试类实际上比Mapper实现本身还要简单。 您只需定义映射器的输入和预期的输出，然后让配置的MapDriver运行测试。 在我们的例子中，Mapper没有做任何特定的事情，但是您会看到设置一个测试用例很容易。 为了完整起见，这里是Reducer的测试类：

package net.pascalalma.hadoop;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mrunit.mapreduce.ReduceDriver;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

/**
 * Created with IntelliJ IDEA.
 * User: pascal
 */
public class ReducerTest {

    ReduceDriver<Text, Text, Text, Text> reduceDriver;

    @Before
    public void setUp() {
        AllTranslationsReducer reducer = new AllTranslationsReducer();
        reduceDriver = ReduceDriver.newReduceDriver(reducer);
    }

    @Test
    public void testReducer() throws IOException {
        List<Text> values = new ArrayList<Text>();
        values.add(new Text("ein"));
        values.add(new Text("zwei"));
        reduceDriver.withInput(new Text("a"), values);
        reduceDriver.withOutput(new Text("a"), new Text("|ein|zwei"));
        reduceDriver.runTest();
    }
}

• • 运行单元测试

使用Maven命令“ mvn clean test”，我们可以运行测试：

有了单元测试，我会说我们已经准备好构建项目并将其部署到Hadoop集群，我将在下一篇文章中介绍。

参考： The Pragmatic Integrator博客上的JCG合作伙伴 Pascal Alma 对Java Hadoop作业进行了单元测试 。

翻译自: https://www.javacodegeeks.com/2013/09/unit-testing-a-java-hadoop-job.html

java hadoop