WordCount代码编写

本文是在win下装的linux虚拟机，在linux安装的hadoop环境，从而实现一个简单的单词计数功能。
目的：对于words.txt文本文件,对文本中的单词进行统计。

代码流程

1. 分析具体的业务逻辑，确定输入数据的样式。
2. 自定义一个类，这个类要继承Mapper类，并重写map方法，在map方法中实现具体的业务逻辑，然后将新的key，value输出。
3. 自定义一个类，这个类要继承Reducer类，并重写reduce方法，在reduce方法中实现具体的业务逻辑，然后将新的key，value输出
4. 最后将自定义的map和reduce通过job对象组装起来。

Map

package cn.master.hadoop.mr;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WCMapper extends Mapper<LongWritable, Text, Text, LongWritable>{
       //Mapper的参数为输入和输出 ，输入和输出都是key value 的形式。
       //重写map方法。
    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        //接收数据v1
        String line  =  value.toString();
        //切分数据
        String[] words = line.split(" ");
        //循环
        for(String w:words){
            //出现一次，记一个1，输出
            context.write(new Text(w), new LongWritable(1));
        }
    }

}

---

Reduce

package cn.master.hadoop.mr;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class WCReducer extends Reducer<Text, LongWritable, Text, LongWritable>{

    @Override
    protected void reduce(Text k2, Iterable<LongWritable> v2s,
            Context context) throws IOException, InterruptedException {
        //接收数据
        //定义一个计数器
        long counter =  0;
        //循环v2s
        for(LongWritable i : v2s){
            counter += i.get() ;
        }
        //输出
        context.write(k2, new LongWritable(counter));       
    }
}

---

通过job对象组装

package cn.master.hadoop.mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;//新的接口
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

    public static void main(String[] args) throws Exception {
       Job job =Job.getInstance(new Configuration());//构建job对象

       //注意：main方所所在的类设置进去
       job.setJarByClass(WordCount.class);

       //组装map和reduce
       //设置mapper相关的属性
       job.setMapperClass(WCMapper.class);
       job.setMapOutputKeyClass(Text.class);
       job.setMapOutputValueClass(LongWritable.class);
       FileInputFormat.setInputPaths(job, new Path("/words.txt"));//hdfs下的path，一般通过参数传递
       //设置reduce相关的属性
       job.setReducerClass(WCReducer.class);       
       job.setOutputKeyClass(Text.class);
       job.setOutputValueClass(LongWritable.class);
       FileOutputFormat.setOutputPath(job, new Path("/wcout418"));
       //提交任务
       job.waitForCompletion(true);//true:在执行过程中打印进度和详情
    }
}

---

打jar包

选择项目，右键->export->jar file 可以在运行的时候选择程序入口，也可以打包时选择程序入口。

虚拟机上执行“hadoop jar 路径 ” 从而得出结果。