MapReduce案例——影评分析1（两表联合查询）

多表联合常用方式有两种：reduceJoin和mapjoin，其中reducejoin容易造成数据倾斜，对于并发执行的数据文件来说，常用mapjoin，在mapper阶段就完成数据连接，一般不会造成数据倾斜，即使倾斜，数据量也会很小。

使用条件，一张数据量很大的表和一张数据量很小的表，将数据量小的表提前加载到各个节点的内存中去，在执行map阶段，通过内连接完成组合。

题：

现有如此三份数据：
1、users.dat    数据格式为：  2::M::56::16::70072
对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String
对应字段中文解释：用户id，性别，年龄，职业，邮政编码

2、movies.dat		数据格式为： 2::Jumanji (1995)::Adventure|Children's|Fantasy
对应字段为：MovieID BigInt, Title String, Genres String
对应字段中文解释：电影ID，电影名字，电影类型

3、ratings.dat		数据格式为：  1::1193::5::978300760
对应字段为：UserID BigInt, MovieID BigInt, Rating Double, Timestamped String
对应字段中文解释：用户ID，电影ID，评分，评分时间戳

用户ID，电影ID，评分，评分时间戳，性别，年龄，职业，邮政编码，电影名字，电影类型
userid, movieId, rate, ts, gender, age, occupation, zipcode, movieName, movieType

题目:
（1）求被评分次数最多的10部电影，并给出评分次数（电影名，评分次数）

本案例user.dat和moives.dat数据量较小，ratings.dat数据量较大，首先进行moives.dat和ratings.dat表的联合

需要先进行一次mapjoin：

package homework1;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.net.URI;
import java.util.HashMap;
import java.util.Map;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * （1）求被评分次数最多的10部电影，并给出评分次数（电影名，评分次数）
 */
public class HomeWork1 {

	public static void main(String[] args) throws Exception {
		
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://potter2:9000");//必须要打开集群
		System.setProperty("HADOOP_USER_NAME", "potter");
		FileSystem fs = FileSystem.get(conf);
		
		Job job = Job.getInstance(conf, "HomeWork1");
		
		job.setJarByClass(HomeWork1.class);
		
		job.setMapperClass(HomeWork1Mapper.class);
//		job.setReducerClass(HomeWork1Reducer.class);
		
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(NullWritable.class);
		
		
		
		job.setNumReduceTasks(0);//不需要Reduce任务
		Path input = new Path(args[0]);
		Path output = new Path(args[1]);
		
		URI uri = new URI(args[2]);//最小文件的路径
		// 通过job对象，指定将会缓存到各个将要执行maptask的服务器节点上去的缓存文件的路径，参数要求是一个URI对象
		job.addCacheFile(uri);//job加载缓存文件
		
		
		
		if (fs.exists(output)) {
			fs.delete(output,true);
		}
		FileInputFormat.setInputPaths(job, input);
		FileOutputFormat.setOutputPath(job, output);
		
		boolean isdone = job.waitForCompletion(true);
		System.exit(isdone ? 0 : 1);
		
	}
	
	
	public static class HomeWork1Mapper extends Mapper<LongWritable