MapReduce案例11——影评分析5（求特定年份最好看的10部电影）

最新推荐文章于 2022-01-08 14:27:40 发布

jin6872115

最新推荐文章于 2022-01-08 14:27:40 发布

阅读量1.8k

点赞数 2

分类专栏： MapReduce 文章标签： MapReduce topN

本文链接：https://blog.csdn.net/jin6872115/article/details/79603798

版权

该博客介绍了如何运用MapReduce解决影评分析问题，具体步骤包括筛选高评分电影、按年份排序、进一步筛选特定年份的佳片，最终得出当年最精彩的10部电影。示例代码简洁明了，展示了MapReduce在数据处理中的应用。

摘要由CSDN通过智能技术生成

题目：

现有如此三份数据：
1、users.dat    数据格式为：  2::M::56::16::70072
对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String
对应字段中文解释：用户id，性别，年龄，职业，邮政编码

2、movies.dat		数据格式为： 2::Jumanji (1995)::Adventure|Children's|Fantasy
对应字段为：MovieID BigInt, Title String, Genres String
对应字段中文解释：电影ID，电影名字，电影类型

3、ratings.dat		数据格式为：  1::1193::5::978300760
对应字段为：UserID BigInt, MovieID BigInt, Rating Double, Timestamped String
对应字段中文解释：用户ID，电影ID，评分，评分时间戳

用户ID，电影ID，评分，评分时间戳，性别，年龄，职业，邮政编码，电影名字，电影类型
userid, movieId, rate, ts, gender, age, occupation, zipcode, movieName, movieType
（5）求好片（评分>=4.0）最多的那个年份的最好看的10部电影

思路：分四步，先求好看的电影，第二步降序选择最好的对应的年份，通过年份求好看电影，然后降序求出前10.较为简单，直接上主体代码：

/**
 * @author: lpj   
 * @date: 2018年3月16日 下午7:16:47
 * @Description:
 */
package lpj.filmCritic;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.net.URI;
import java.time.Year;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob;
import org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import lpj.filmBean.GoodMoiveGroup;
import lpj.filmBean.GoodMoiveGroup2;
import lpj.filmBean.GoodMovieBean;
import lpj.filmBean.GoodMovieBean2;
/**
 *
 */
public class GoodMoiveMR {
	
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		//---------------------------------
		FileSystem fs = FileSystem.get(conf);//默认使用本地
		Job job = Job.getInstance(conf);
		job.setJarByClass(GoodMoiveMR.class);
		job.setMapperClass(GoodMoiveMR_Mapper.