MapReduce案例11——影评分析2（三表联合查询）

最新推荐文章于 2022-11-30 09:29:17 发布

jin6872115

最新推荐文章于 2022-11-30 09:29:17 发布

阅读量3k

点赞数 2

分类专栏： MapReduce 文章标签： MapReduce 三表联合查询分组求取TOPN

本文链接：https://blog.csdn.net/jin6872115/article/details/79598090

版权

该博客介绍了如何使用MapReduce进行三表联合查询，以完成影评分析。在用户表和电影表数据量较小的情况下，通过MapJoin连接三个表，并针对男性和女性用户分别求取评分最高的10部电影。文章详细阐述了评分计算的逻辑，即总评分除以评分人数，并展示了MapReduce作业的实现过程，包括分组、排序和结果输出。在总结中，作者指出单个评分可能对电影总评分造成影响，建议考虑评分人数作为排序的附加因素。

摘要由CSDN通过智能技术生成

题目要求：（MapReduce案例11——影评分析1）为基础

现有如此三份数据：
1、users.dat    数据格式为：  2::M::56::16::70072
对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String
对应字段中文解释：用户id，性别，年龄，职业，邮政编码

2、movies.dat		数据格式为： 2::Jumanji (1995)::Adventure|Children's|Fantasy
对应字段为：MovieID BigInt, Title String, Genres String
对应字段中文解释：电影ID，电影名字，电影类型

3、ratings.dat		数据格式为：  1::1193::5::978300760
对应字段为：UserID BigInt, MovieID BigInt, Rating Double, Timestamped String
对应字段中文解释：用户ID，电影ID，评分，评分时间戳

用户ID，电影ID，评分，评分时间戳，性别，年龄，职业，邮政编码，电影名字，电影类型
userid, movieId, rate, ts, gender, age, occupation, zipcode, movieName, movieType
（2）分别求男性，女性当中评分最高的10部电影（性别，电影名，评分）

根据题目要求，数据在不同的三个表中，其中用户表和电影表数据量较小，可以将两个表加载到内存，然后通过mapjoin将三个表进行连接，业务实现与影评分析1中一致，是求topN的问题

首先进行三表联合，作为数据基础

/**
 * @author: lpj   
 * @date: 2018年3月16日 下午7:16:47
 * @Description:
 */
package lpj.filmCritic;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.net.URI;
import java.util.HashMap;
import java.util.Map;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
/**
 *
 */
public class MapjoinThreeTables {
	
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://hadoop02:9000");
		System.setProperty("HADOOP_USER_NAME", "hadoop");//使用集群
		FileSystem fs = FileSystem.get(conf);
		
		Job job = Job.getInstance(conf);
		job.setJarByClass(MapjoinThreeTables.class);
		job.setMapperClass(MapjoinThreeTables_Mapper.class);
		
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(NullWritable.class);
		job.setNumReduceTasks(0);
		String inputpath = args[0];
		String outpath = args[1];
		//两个小文件地址
		URI uri1 = new URI(args[2]);
		URI uri2 = new URI(args[3]);
		job.addCacheFile(uri1);//不能漏掉！！！
		job.addCacheFile(uri2);
		Path inputPath = new Path(inputpath);
		Path outputPath = new Path(outpath);
		if (fs.exists(outputPath)) {
			fs.delete(outputPath, true);
		}
		
		FileInputFormat.setInputPaths(job, inputPath);
		FileOutputFormat.setOutputPath(job, outputPath);
		boolean isdone = job.waitForCompletion(true);
		System.exit(isdone ? 0 : 1);
	}
	
	public static class MapjoinThreeTables_Mapper extends Mapper<LongWritable, Text, Text, NullWritable>{
		private static Map<String, String> moivemap = new HashMap<>();
		private static Map<String,