MapReduce统计文本单词

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

 

import java.io.IOException;

 

//LongWritable 偏移量 long 表示改行在文件中的位置，而不是行号

//Text map阶段的输入数据 一行文本信息 字符串类型 string

// Text map阶段的数据字符串类型 string

//IntWritable map阶段输出的value类型，对应java中的int类型，表示行号

 

public class WordCountMap extends Mapper<LongWritable, Text,Text, IntWritable> {

    @Override

    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        //读取每行文本

        String line = value.toString();

        //splite拆分每行

        String[] words = line.split(" ");//分词

        //去除每个单词

        for (String word : words){

            //将行数据转换为T