如何使用Hadoop的DistributedCache

DistributedCache是Hadoop的一个分布式文件缓存类，使用它有时候能完成一些比较方便的事，DistributedCache第一个比较方便的作用就是来完成分布式文件共享这件事，第二个比较有用的场景，就是在执行一些join操作时，将小表放入cache中，来提高连接效率。 


那么，散仙今天要介绍的是如何使用DistributedCache来共享全局的缓存文件。 

下面我们先通过一个表格来看下，在hadoop中，使用全局变量或全局文件共享的几种方法 

序号	方法
1	使用Configuration的set方法，只适合数据内容比较小的场景
2	将共享文件放在HDFS上，每次都去读取，效率比较低
3	将共享文件放在DistributedCache里，在setup初始化一次后，即可多次使用，缺点是不支持修改操作，仅能读取

本篇散仙，将重点介绍，使用DistributedCache的方法，来共享一些全局配置文件，或变量，通过DistributedCache的addCacheFile方法，我们把HDFS上的一些文件，在hadoop任务启动时，就载入缓存里面，以供全局使用，使用这个方法时，我们需要注意几点，首先我们的本地文件，需要上传到HDFS上，然后再这个方法里，写入加载路径，接下来，我们就可以，在setup初始化时，读取出，其内容，然后在map或reduce方法，执行时，就可以实时的使用这个文件的一些内容了。 

package com.qin.testdistributed;

import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.net.URI;
import java.util.Scanner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.filecache.DistributedCache;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.db.DBConfiguration;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.log4j.pattern.LogEvent;
 
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import com.qin.operadb.WriteMapDB;
 

/**
 * 测试hadoop的全局共享文件
 * 使用DistributedCached
 * 
 * 大数据技术交流群： 37693216
 * @author qindongliang
 * 
 * ***/
public class TestDistributed {
	
	
	private static Logger logger=LoggerFactory.getLogger(TestDistributed.class);
	
	
	
	
	
	private static class FileMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
		
	     	Path path[]=null;
	     	
		/**
		 * Map函数前调用
		 * 
		 * */
		@Override
		protected void setup(Context context)
				throws IOException, InterruptedException {
		  logger.info("开始启动setup了哈哈哈哈");
		    // System.out.println("运行了.........");
		  Configuration conf=context.getConfiguration();
		   path=DistributedCache.getLocalCacheFiles(conf);
	       System.out.println("获取的路径是：  "+path[0].toString());
	     //  FileSystem fs = FileSystem.get(conf);
	       FileSystem fsopen= FileSystem.getLocal(conf);
	     FSDataInputStream in = fsopen.open(path[0]);
	      // System.out.println(in.readLine());
//	       for(Path tmpRefPath : path) {
//	           if(tmpRefPath.toString().indexOf("ref.png") != -1) {
//	               in = reffs.open(tmpRefPath);
//	               break;
//	           }
//	       }
	       
     // FileReader reader=new FileReader("file://"+path[0].toString());
//      File f=new File("file://"+path[0].toString());
      // FSDataInputStream in=fs.open(new Path(path[0].toString()));
	     Scanner scan=new Scanner(in);
	       while(scan.hasNext()){
	    	   System.out.println(Thread.currentThread().getName()+"扫描的内容:  "+scan.next());
	       }
	       scan.close();
//		
		// System.out.println("size: "+path.length);
			
			
		}
		
		
		@Override
		protected void map(LongWritable key, Text value,Context context)
				throws IOException, InterruptedException {
		 
		//	System.out.println("map    aaa");
			//logger.info("Map里的任务");
			System.out.println("map里输出了");
		//	logger.info();
			context.write(new Text(""), new IntWritable(0));

		
		}
 
		
		 @Override
		protected void cleanup(Context context)
				throws IOException, InterruptedException {
		
			 
			 logger.info("清空任务了。。。。。。");
		}
		
	}
	
	
	private static class  FileReduce extends Reducer<Object, Object, Object, Object>{
		
		
		@Override
		protected void reduce(Object arg0, Iterable<Object> arg1,
				 Context arg2)throws IOException, InterruptedException {
			 
			
			System.out.println("我是reduce里面的东西");
		}
	}
	
	
	
	public static void main(String[] args)throws Exception {
		
		
		JobConf conf=new JobConf(TestDistributed.class);
		//conf.set("mapred.local.dir", "/root/hadoop");
		 //Configuration conf=new Configuration();
		
	    // conf.set("mapred.job.tracker","192.168.75.130:9001");
		//读取person中的数据字段
	  	   //conf.setJar("tt.jar");
		 
		//注意这行代码放在最前面，进行初始化，否则会报
		 String inputPath="hdfs://192.168.75.130:9000/root/input";	    
		 String outputPath="hdfs://192.168.75.130:9000/root/outputsort";
		 
		Job job=new Job(conf, "a");
		DistributedCache.addCacheFile(new URI("hdfs://192.168.75.130:9000/root/input/f1.txt"), job.getConfiguration());
		job.setJarByClass(TestDistributed.class);
		System.out.println("运行模式：  "+conf.get("mapred.job.tracker"));
		/**设置输出表的的信息  第一个参数是job任务，第二个参数是表名，第三个参数字段项**/
	   FileSystem fs=FileSystem.get(job.getConfiguration());
		
		  Path pout=new Path(outputPath);
		  if(fs.exists(pout)){
			  fs.delete(pout, true);
			  System.out.println("存在此路径, 已经删除......");
		  } 
		 /**设置Map类**/
		// job.setOutputKeyClass(Text.class);
		 //job.setOutputKeyClass(IntWritable.class);
		  job.setMapOutputKeyClass(Text.class);
		  job.setMapOutputValueClass(IntWritable.class);
		 job.setMapperClass(FileMapper.class);
	     job.setReducerClass(FileReduce.class);
		 FileInputFormat.setInputPaths(job, new Path(inputPath));  //输入路径
         FileOutputFormat.setOutputPath(job, new Path(outputPath));//输出路径  
		
		System.exit(job.waitForCompletion(true) ? 0 : 1);  
		
		
		
	}
	
	
	

}