WordCount程序详解

[html] view plain copy print ?

1. 输入：hellohadoop

[html] view plain copy print ?

1. helloword

下面是map函数

[java] view plain copy print ?

1. importjava.io.IOException;
2. importjava.util.StringTokenizer;
4. importorg.apache.hadoop.io.IntWritable;
5. importorg.apache.hadoop.io.Text;
6. importorg.apache.hadoop.mapreduce.Mapper;
8. publicclassMapperClassextendsMapper<Object,Text,Text,IntWritable>{//四个参数的含义，前两个输入，后两个输出
9. ，类型需一致
10. publicTextkeytext=newText("text");//定义一个text对象，用来充当中间变量，存储词
11. publicIntWritableintvalue=newIntWritable(1);//词的个数，刚开始都为1，也可以不定义，直接context.write(keytext,1);
12. @Override
13. protectedvoidmap(Objectkey,Textvalue,
14. Contextcontext)//key即行偏移量，作用不大，主要是value，根据value进行拆分
15. throwsIOException,InterruptedException{
16. //获取值
17. Stringstr=value.toString();
18. //分隔
19. StringTokenizerstringTokenizer=newStringTokenizer(str);//StringTokenizer根据空格等分隔字符串到stringTokenizer
20. while(stringTokenizer.hasMoreElements()){//返回是否还有分隔符，判断是否还有单词
21. keytext.set(stringTokenizer.nextToken());//nextToken()：返回从当前位置到下一个分隔符的字符串。
22. context.write(keytext,intvalue);//context.write("hello",1)
24. }
26. }
27. }

reduce函数

[java] view plain copy print ?

1. importjava.io.IOException;
2. importjava.util.Iterator;
4. importorg.apache.hadoop.io.IntWritable;
5. importorg.apache.hadoop.io.Text;
6. importorg.apache.hadoop.mapreduce.Reducer;
8. publicclassReducerClassextendsReducer<Text,IntWritable,Text,IntWritable>{//前两个输入：例：（hello，1），后两个输出（hello，2）
10. publicIntWritableintValue=newIntWritable(0);
12. @Override
13. protectedvoidreduce(Textkey,Iterable<IntWritable>values,//这里声明了一个实现Iterator接口的匿名内部类，并返回了内部类的实例
14. Contextcontext)//它用来与MapReduce系统进行通信，如把map的结果传给reduce处理
15. throwsIOException,InterruptedException{
16. //step1
17. intsum=0;
18. Iterator<IntWritable>itr=values.iterator();//迭代器，访问容器中的元素，为容器而生
19. while(itr.hasNext()){
21. sum+=itr.next().get();//如果有，则加入迭代器中的个数
23. }
24. intValue.set(sum);//对于hello，sum是2
25. context.write(key,intValue);//hello，2
26. }
27. }

主函数：

[java] view plain copy print ?

1. importorg.apache.hadoop.conf.Configuration;
2. importorg.apache.hadoop.fs.Path;
3. importorg.apache.hadoop.io.IntWritable;
4. importorg.apache.hadoop.io.Text;
5. importorg.apache.hadoop.mapreduce.Job;
6. importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;
7. importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
8. importorg.apache.hadoop.util.GenericOptionsParser;
10. publicclassWordCount{
11. publicstaticvoidmain(String[]args)throwsException{
12. Configurationconf=newConfiguration();//指定作业执行规范
13. String[]otherArgs=newGenericOptionsParser(conf,args).getRemainingArgs();
14. if(otherArgs.length!=2)
15. {
16. System.err.println("Usage:wordcount<in><out>");
17. System.exit(2);
18. }
19. Jobjob=newJob(conf,"wordcount");//指定job名称，及运行对象
20. job.setJarByClass(WordCount.class);
21. job.setMapperClass(MapperClass.class);//指定map函数
22. job.setCombinerClass(ReducerClass.class);//是否需要conbiner整合
23. job.setReducerClass(ReducerClass.class);//指定reduce函数
24. job.setOutputKeyClass(Text.class);//输出key格式
25. job.setOutputValueClass(IntWritable.class);//输出value格式
26. FileInputFormat.addInputPath(job,newPath(otherArgs[0]));//处理文件路径
27. FileOutputFormat.setOutputPath(job,newPath(otherArgs[1]));//结果输出路径
28. System.exit(job.waitForCompletion(true)?0:1);
29. }
30. }

小结：Hadoop程序处理流程

（1）将文件拆分为splits，并由MapReduce框架自动完成分割，将每一个split分割为<key,value>对

（2）每一对<key,value>调用一次map函数，处理后生产新的<key,value>对，由Context传递给reduce处理

（3）Mapper对<key，value>对进行按key值进行排序，并执行Combine过程，将key值相同的value进行合并。最后得到Mapper的最终输出结果

（4）reduce处理，处理后将新的<key,value>对输出。