MapReduce练习（二）

MapReduce练习（二）

 

1、启动hadoop-1.2.1 集群：

Master：

Slave：

 

2、任务要求：

有一批电话通信清单，记录了用户A拨打给用户B的记录

做一个倒排索引，记录拨打给用户B所有用户A

 

3、要处理的数据传到hdfs上：

 

4、MapReduce代码：

导入的包：

 

 

记错行数：：

 

Map方法：

 

 

Redecu方法：

 

Run方法：

 

主方法：

 

 

5、处理的数据结果：

 

6、处理过程日志：

 

7、关闭集群：

 

8、附部分代码和结果：

Map函数：

 

 public static class Map extendsMapper<LongWritable,Text,Text,Text>{                    
       publicvoid map(LongWritable key,Text value,Context context) throwsIOException,InterruptedException{                           
              Stringline = value.toString();                           
              try{                                  
                     String[] lineSplit=line.split(" ");                                  
                     Stringanum=lineSplit[0];                                 
                     Stringbnum=lineSplit[1];                                  
                     context.write(newText(bnum),new Text(anum));                           
              }catch(Exceptione){                                  
                     context.getCounter(Counter.LINESKIP).increment(1);                                 
                     return;                           
              }                     
       }      
}

 

Reduce函数：

 public static class Reduce extendsReducer<Text,Text,Text,Text>{                   
       publicvoid reduce(Text key,Iterable<Text> values,Context context) throwsIOException,InterruptedException{                           
              StringvalueString;                           
              Stringout="";                                                     
              for(Textvalue:values){                                  
                     valueString=value.toString();                                  
                     out+=valueString+"|";                           
              }                          
              context.write(key,newText(out));                    
       }             
}

Run方法：

 

public int run(String[] args) throwsException {             
       Configurationconf=getConf();

                          
       Jobjob=new Job(conf,"xiaobaozi");             
       job.setJarByClass(xiaobaozi.class);
              
       FileInputFormat.addInputPath(job,newPath(args[0]));            
       FileOutputFormat.setOutputPath(job,newPath(args[1]));
             
       job.setMapperClass(Map.class);             
       job.setReducerClass(Reduce.class);            
       job.setOutputFormatClass(TextOutputFormat.class);            
       job.setOutputKeyClass(Text.class);            
       job.setOutputValueClass(Text.class);
              
       job.waitForCompletion(true);
              
       System.out.println("任务名称："+job.getJobName());             
       System.out.println("任务成功："+(job.isSuccessful()?"是":"否"));            
       System.out.println("跳过的行"+job.getCounters().findCounter(Counter.LINESKIP).getValue());
             
       returnjob.isSuccessful()?0:1;     
}

  enum Counter{ 
         
       LINESKIP,      //出错的行    
   } 

 

 public static void main(String args[]) throws Exception{ 
       //在main函数调用run方法，启动一个mr任务        
       
       intres=ToolRunner.run(new Configuration(), new xiaobaozi(),args);              
       System.exit(res);    
 }

 

10086     13614033692|13614033692|17702449852|
110  13614033692|17702449852|
119  18004024063|17702449852|
120  18004024063|13614033692|
17702449852  18004024063|