Hadoop：Java API实现

Hadoop入门教程：Java API实现，对Java程序员来讲，直接调用Hadoop的Java API来实现是最为方便的，要使用Java API至少需要实现三个重要组件：Map类、Reduce类、驱动Driver。下面将具体实现Java API的词频统计程序。

(1)实现Map类：WordcountMapper.java，核心代码如下：

import  java.io.IOException;

import  java.util.StringTokenizer;

import  org.apache.hadoop.io.IntWritable;

import  org.apache.hadoop.io.Text;

import  org.apache.Hadoop.MapReduce.Mapper;

 

public  class  WordcountMapper

        extends  Mapper<object, intwritable= "" >{

     private  f?inal  static  IntWritable one =  new  IntWritable( 1 );

     private  Text word =  new  Text();

     public  void  map(Object key, Text value, Context context)

                     throws  IOException, InterruptedException {

       StringTokenizer itr =  new  StringTokenizer(value.toString());

       while  (itr.hasMoreTokens()) {

         word.set(itr.nextToken());

         context.write(word, one);

       }

     }

   }

 

</object,>

首先要实现Map需要继承Hadoop的Mapper类，至少需要实现其中的map方法，其中Mapper中的map方法通过指定的输入文件格式一次处理一行，value就是map函数接收到的输入行，然后通过StringTokenizer以空格为分隔符将一行切分为若干tokens，之后，输出形式的键值对并将它写入org.apache.hadoop.mapred.OutputCollector中。为了更加清晰地认识Map阶段的处理，我们假设有三个文本a、b、c，使用上述实现的处理流程如图2-5所示。

从图2-5中可以看到对于文件A的输入，相应的Map处理之后还会进行sort，最终Map输出如下：

<Hello, 1 >

<nuoline, 1 >

<nuoline, 1 >

<Welcome, 1 >

对于文件B，执行相应的sort之后最终Map输出如下：

<hadoop, 1 >

<hadoop, 1 >

<Hello, 1 >

<Welcome, 1 >

对于文件C，执行相应的sort之后最终Map输出如下：

<cloud, 1 >

<cloud, 1 >

<Hello, 1 >

<Welcome, 1 >

<welcome, 1 ></welcome, 1 >

 

 

(2)实现Reduce类：WordcountReducer.java，核心代码如下：

import  java.io.IOException;

import  org.apache.hadoop.io.IntWritable;

import  org.apache.hadoop.io.Text;

import  org.apache.hadoop.mapreduce.Reducer;

 

public  class  WordcountReducer

        extends  Reducer<text,intwritable,text,intwritable> {

     private  IntWritable result =  new  IntWritable();

     public  void  reduce(Text key, Iterable<intwritable> values,

                        Context context)

               　           throws  IOException, InterruptedException {

       int  sum =  0 ;

       for  (IntWritable val : values) {

         sum += val.get();

       }

       result.set(sum);

       context.write(key, result);

     }

   }

</intwritable></text,intwritable,text,intwritable>

实现WordcountReducer类需要继承Reducer，至少需要实现其中的reduce方法，输入参数中的key和values是由Map任务输出的中间结果，values是一个Iterator，遍历这个Iterator就可以得到属于同一个key的所有value。此处key是一个单词，values是词频。只需要将所有的values相加，就可以得到这个单词总的出现次数。

对于图2-5的Map输出，Reduce处理的示意图如图2-6所示。

 

 

从图2-6中可以看出，Reduce的输入就是Map的输出，然后会进行sort group，将Reduce的输入变为>的形式，接着Hadoop框架会使用用户指定的Reduce类处理数据，并最终输出。当然用户还可以指定combiner，每次Map运行之后，会按照key对输出进行排序，然后把输出传递给本地的combiner(可以指定和Reducer一样)，进行本地聚合。运行combiner能减少数据的通信量并降低Reduce的负载。

(3)实现运行驱动

运行驱动的目的就是在程序中指定用户的Map类和Reduce类，并配置提交给Hadoop时的相关参数。例如实现一个词频统计的wordcount驱动类：MyWordCount.java，其核心代码如下：

import  org.apache.hadoop.conf.Conf?iguration;

import  org.apache.hadoop.fs.Path;

import  org.apache.hadoop.io.IntWritable;

import  org.apache.hadoop.io.Text;

import  org.apache.hadoop.mapreduce.Job;

import  org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import  org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public  class  MyWordCount {

    public  static  void  main(String[] args)  throws  Exception {

      Conf?iguration conf =  new  Conf?iguration();

      Job job =  new  Job(conf,  "word count" );

      job.setJarByClass(MyWordCount. class );

      job.setMapperClass(WordcountMapper. class );

      job.setCombinerClass(WordcountReducer. class );

      job.setReducerClass(WordcountReducer. class );

      job.setOutputKeyClass(Text. class );

      job.setOutputValueClass(IntWritable. class );

      FileInputFormat.addInputPath(job,  new  Path(args[ 0 ]));

      FileOutputFormat.setOutputPath(job,  new  Path(args[ 1 ]));

      System.exit(job.waitForCompletion( true ) ?  0  :  1 );

    }

}

从上述核心代码中可以看出，需要在main函数中设置输入/输出路径的参数，同时为了提交作业，需要job对象，并在job对象中指定作业名称、Map类、Reduce类，以及键值的类型等参数。来源：CUUG官网