Hadoop与Spark算法分析（一）——WordCount

WordCount是大数据编程的入门程序，实现对输入文件中每个单词出现次数的统计，可应用于海量文本的词频检索。过程如下图所示：

1. Hadoop实现

map过程调用map函数以文件中每行首个字符的偏移量和整行值为输入参数，将值进行单词的拆分，并最终输出（单词，1）的键值对。
reduce过程从各Map端收集得到（单词，列表（1,1，…1））键值对，通过对值列表相加计算单词主键的出现频数，最终得到（单词，频数）键值对。
具体代码实现如下：

package org.hadoop.test;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {
   
    public static