mapreduce词频统计

一、环境准备

搭建mapreduce开发环境

（1）分别配置mapred-site.xml、yarn-site.xml和slaves文件，并分发给slave1,slave2,之前配过文件，就不在这详细说明了。

（2）初始化

（3）start

(4)8088端口页面

二、实验分析

开发mapreduce程序（Map,reduce和driver）,统计wordcount.txt文件中的单词的数量。

三、实验实现与结果

（1）实现代码

package org.example;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
import java.util.StringTokenizer;
public class WordCount {
    /**
     * 静态内容部类
     * 规定 map 中用到的数据类型，这里的 Text 相当于 jdk 中的 String IntWritable 相当于 jdk 的 int 类型，* 这样做的原因主要是为了 hadoop 的数据序化而做的。
     */