MapReduce单词统计详细介绍

提取数据

链接：https://pan.baidu.com/s/1cG7hkUQjoIGgXrpYtOeRYQ
提取码：4vc4

package mr;

// map 阶段 并行读取数据处理数据, 一个map默认读取 128M 的数据 13200 10
// map 阶段 并行读取数据处理数据, 一个map默认读取 128M 的数据 13200 20
// map 阶段 并行读取数据处理数据, 一个map默认读取 128M 的数据 13200 30

// reduce 阶段 map 阶段数据处理结束开始进行数据的汇聚操作
// 13200 汇聚到一个 reduce 的机器里面 13200 [10 + 20 30]

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import java.io.IOException;

public class MRPro {

// hadoop spark
// hadoop spark
// hadoop hadoop
// hadoop spark
// hadoop hadoop

// hadoop, 1
// hadoop, 1
// hadoop, 1
// hadoop, 1
// hadoop, 1
// hadoop, 1
// spark, 1
// spark, 1
// spark, 1
// spark, 1

// 1000 map




// Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
// Mapper<LongWritable, Text, Text, Text>
// 1> LongWritable 表示记录的偏移量 Writable 可序列化 的Long类型
// 2> Text 表示偏移量所对应的那一行数据记录
// 3> Text 表示 map 输出的 key
// 4> IntWritable 表示 map 输出的 value
public static class DingDanMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        // hadoop spark
        // hadoop 1
        // spark 1
        String[] vs = value.toString().split("\t");
        context.write(new Text(vs[0]), new IntWritable(1));
        //不要整体循环

// for(String v:vs){
// context.write(new Text(v), new IntWritable(1));
// }

    }
}

// 1> Text 表示 reduce 输入的 key
// 2> Text 表示 reduce 输入的 value
// 3> Text 表示 reduce 输出到 hdfs 的 key
// 4> Text 表示 reduce 输出到 hdfs的 value
public static class DingDanReduce extends Reducer<Text, IntWritable, Text, Text> {

    // 10 hadoop [1,1,1,1,1,1,1,1,1,1]
    
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

        int sum = 0;
        for(IntWritable i : values){
            sum += i.get();
        }

        context.write(key, new Text(sum + ""));
    }
}

public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();

    // Job job = new Job(conf, "wc");
    Job job = Job.getInstance(conf, "wc");

    //
    job.setJarByClass(MRPro.class);
    
    // input --> map --> reduce --> output
    // input 表示数据的路径

// FileInputFormat.addInputPath(job, new Path(""));
// FileInputFormat.setInputPaths(conf, “”);

    //设置待处理文件的位置
    TextInputFormat.setInputPaths(job, "/goods.txt");

    //
    job.setMapperClass(DingDanMapper.class);
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(IntWritable.class);

    job.setReducerClass(DingDanReduce.class);
    job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(Text.class);
    
    //设置输出结果文件位置
    TextOutputFormat.setOutputPath(job, new Path("/out/wc/a345"));
    job.waitForCompletion(true);
    
}

}