MapReduce之Join操作（map-side Join）

 本文讲述如何在map端完成join操作。之前我们提到了reduce-join，这种方法的灵活性不错，也是理所当然地能够想到的方法；但这种方法存在的一个最大的问题是性能。大量的中间数据需要从map节点通过网络发送到reduce节点，因而效率比较低。实际上，两表的join操作中很多都是无用的数据。现在考虑可能的一种场景，其中一个表非常小，以致于可以直接存放在内存中，那么我们可以利用Hadoop提供的DistributedCache机制，将较小的表加入到其中，在每个map节点都能够访问到该表，最终实现在map阶段完成join操作。这里提一下DistributedCache，可以直观上将它看作是一个全局的只读空间，存储一些需要共享的数据；具体可以参看Hadoop相关资料，这里不进行深入讨论。

     实现的源码如下，原理非常简单明了：     

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.Hashtable;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.filecache.DistributedCache;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.KeyValueTextInputFormat;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop.mapred.Reporter;
import org.apache.hadoop.mapred.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

@SuppressWarnings("deprecation")
public class DataJoinDC extends Configured implements Tool{

	private final static String inputa = "hdfs://m100:9000/joinTest/Customers";
	private final static String inputb = "hdfs://m100:9000/joinTest/Orders";
	private final static String output = "hdfs://m100:9000/joinTest/output";
	
	public static class MapClass extends MapReduceBase
							  implements Mapper<Text, Text, Text, Text> {
		private Hashtable<String, String> joinData = new Hashtable<String, String>();
		@Override
		public void configure(JobConf conf) {
			try {
				Path [] cacheFiles = DistributedCache.getLocalCacheFiles(conf);
				if (cacheFiles != null && cacheFiles.length > 0) {
					String line;
					String[] tokens;
					BufferedReader joinReader = new BufferedReader(
							                new FileReader(cacheFiles[0].toString()));
					try {
						while ((line = joinReader.readLine()) != null) {
							tokens = line.split(",", 2);
							joinData.put(tokens[0], tokens[1]);
						}
					}finally {
						joinReader.close();
					}}} catch (IOException e) {
						System.err.println("Exception reading DistributedCache: " + e);
					}
				}
		public void map(Text key, Text value,OutputCollector<Text, Text> output,
				Reporter reporter) throws IOException {
		//	for(String t: joinData.keySet()){
		//		output.collect(new Text(t), new Text(joinData.get(t)));
		//	}
			String joinValue = joinData.get(key.toString());
			if (joinValue != null) {
				output.collect(key,new Text(value.toString() + "," + joinValue));
			}
		}
	}
	
	@Override
	public int run(String[] args) throws Exception {
		Configuration conf = getConf();
		DistributedCache.addCacheFile(new Path(inputa).toUri(), conf);
		JobConf job = new JobConf(conf, DataJoinDC.class);	
		Path in = new Path(inputb);
		Path out = new Path(output);
		FileInputFormat.setInputPaths(job, in);
		FileOutputFormat.setOutputPath(job, out);
		job.setJobName("DataJoin with DistributedCache");
		job.setMapperClass(MapClass.class);
		job.setNumReduceTasks(0);
		job.setInputFormat(KeyValueTextInputFormat.class);
		job.setOutputFormat(TextOutputFormat.class);
		job.set("key.value.separator.in.input.line", ",");
		JobClient.runJob(job);
		return 0;
	}
	
	public static void main(String[] args) throws Exception{
		int res = ToolRunner.run(new Configuration(), new DataJoinDC(), args);
		System.exit(res);
	}

}
 

 以上参照《Hadoop in Action》 所附代码，我这里是将Customers表作为较小的表，传入DistributedCache。

  这里需要注意的地方

Java代码  

1. DistributedCache.addCacheFile(new Path(inputa).toUri(), conf);  

  这句一定要放在job初始化之前，否则在map中读取不到文件。因为job初始化时将传入Configuration对象拷贝了一份给了JobContext！

• 半连接(semijoin)

      之前已经讨论了reduce-side join和map-side join(replicated join)，第一种较通用但效率不高，第二种对于表的大小有需求。然而即使存在表的大小不对称的情况，在许多情况下较小的表仍然不能存到内存中。这里讨论一下半连接(semijoin)，这是传统的关系型数据库中的概念。它对应这样一种常见需求：用户只关心合并之后的某些元组。例如，在前面的例子中，我只想知道Customer ID为3的元组信息。这时，前面那些方法就传输了大量的无用数据，Customer ID为1,2,4的完全可以舍弃掉。

      既然如此，那么只需要将Customers表中ID为3的元组作为“背景数据”放在DistributedCache中即可。这也就是将join后过滤变为过滤后join，减小了数据传输量。进一步优化，实际上只放Customer ID就行了。但是如果这些Customer ID数量仍然非常大，怎么办？比如用户需要知道Customer ID为1-1000000000的信息，该如何处理？这就需要用到下面的BloomFilter了。

 

 

• 半连接之BloomFilter处理 
  

       BloomFilter是一种比较优雅的数据结构，关于其介绍可见http://bjyjtdj.iteye.com/blog/1455029。只需要将这些k值放在BloomFilter中就可以大大减小空间，即使有“漏网之鱼”，在最后join的时候也能够处理掉。