MapReduce WordCount案例实操

一、需求

在给定的文本文件中统计输出每一个单词出现的总次数

创建wc.txt，内容如下

atguigu atguigu
ss ss
cls cls
jiao
banzhang
xue
hadoop

期望输出数据

atguigu	2
banzhang	1
cls	2
hadoop	1
jiao	1
ss	2
xue	1

二、实操步骤

1. 环境准备

• 创建maven工程
• 在pom.xml中添加如下依赖配置

	<dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-slf4j-impl</artifactId>
            <version>2.12.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.4</version>
        </dependency>
    </dependencies>

客户端的依赖版本按照实际情况修改，我用的是3.1.4

• 在项目的src/main/resources目录下，新建一个文件，命名为“log4j2.xml”，在文件中填入：

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="error" strict="true" name="XMLConfig">
    <Appenders>
        <!-- 类型名为Console，名称为必须属性 -->
        <Appender type="Console" name="STDOUT">
            <!-- 布局为PatternLayout的方式，
            输出样式为[INFO] [2018-01-22 17:34:01][org.test.Console]I'm here -->
            <Layout type="PatternLayout"
                    pattern="[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c{10}]%m%n" />
        </Appender>

    </Appenders>

    <Loggers>
        <!-- 可加性为false -->
        <Logger name="test" level="info" additivity="false">
            <AppenderRef ref="STDOUT" />
        </Logger>

        <!-- root loggerConfig设置 -->
        <Root level="info">
            <AppenderRef ref="STDOUT" />
        </Root>
    </Loggers>

</Configuration>

2. 编写程序

2.1 编写Mapper类

package cn.menglangpoem.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

// 泛型的具体类型要根据具体业务进行更改 他们分别为 输入的key和value对应的类型 以及 输出的kv对应的类型
public class WcMapper extends Mapper<LongWritable, Text,Text, IntWritable> {

    // 为了节省内存，提前将对象创建好
    private Text word = new Text();
    private IntWritable one = new IntWritable(1);

    /**
     * 框架将数据拆成一行一行输入进来，我们把数据变成（单词，1）的形式
     * @param key 行号
     * @param value 行内容
     * @param context 任务本身
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        // 拿到框架传来的一行数据
        String line = value.toString();
        
        // 根据我们的文件内容，我们按照一个“空格”将字符串进行拆分
        String[] words = line.split(" ");
        
        // 将数据以(单词,1)的形式写回框架
        for (String word : words) {
            this.word.set(word);
            context.write(this.word,this.one);
        }
    }
}

2.2 Reducer类

package cn.menglangpoem.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;


import java.io.IOException;

public class WcReducer extends Reducer<Text, IntWritable,Text,IntWritable> {

    private IntWritable result = new IntWritable();
    /**
     * 框架把数据按照单词分好组输入给我们，我们将同一个单词的次数相加。
     * @param key 单词
     * @param values 这个单词的所有的1
     * @param context 任务本身
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        // 进行累加
        int sum = 0;
        for (IntWritable value : values) {
            sum += value.get();
        }

        // 对结果进行包装并写出
        result.set(sum);
        context.write(key,result);
    }
}

2.3 编写Driver驱动类

package cn.menglangpoem.wordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.File;
import java.io.IOException;

public class WcDriver {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        // 1. 获取Job实例
        Job job = Job.getInstance(new Configuration());

        // 2. 设置jar包
        job.setJarByClass(WcDriver.class);

        // 3. 设置Mapper和Reducer
        job.setMapperClass(WcMapper.class);
        job.setReducerClass(WcReducer.class);

        // 4. 设置Map和Reduce的输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 5. 设置输入输出文件(此处是进行本地调试还是在集群运行的关键) 不要导错包，是lib包下的
        /*

        本地调试代码示例

        FileInputFormat.setInputPaths(job,new Path("d:/wc.txt"));
        FileOutputFormat.setOutputPath(job,new Path("d:/output")); // 输出目录必须不存在

         */

        // 集群测试示例 根据输入的参数确定目录
        FileInputFormat.setInputPaths(job,new Path(args[0]));
        FileOutputFormat.setOutputPath(job,new Path(args[1]));

        // 6. 提交Job
        boolean b = job.waitForCompletion(true);

        System.exit(b ? 0 : 1);
    }
}

注意本地测试和集群测试的不同，本地测试输入输出路径都是本地文件，而集群测试一般是通过输入参数确定路径

三、测试

1. 本地测试

将Driver驱动类的路径改为本地路径，启动驱动类即可实现本地测试（前提要配置好Windows的Hadoop客户端环境）。

2. 集群测试

2.1 打包

2.2 在集群测试

将jar包上传到某一台服务器，再将输入文件上传到HDFS中，执行如下命令；

hadoop jar  wc.jar cn.menglangpoem.wordcount.WcDriver /wc.txt /ouput

四个参数依次为：

• jar包路径
• 驱动类包全路径
• HDFS中输入文件路径
• HDFS中输出路径（路径必须不存在）