电影评分分析

实验数据来源：本实验所用数据为美国在线影片提供商NetFlix从1998年10月到2005年12月的电影评分数据，包含了(480,189)用户对(17,770)多部影片的(100,480,507)条评分。（注：该数据包含了2个数据集：info, rating）

题目：对以下数据进行可视化分析

1. 统计所有2000年以后上映影片的平均评分和评分数

2. 得到平均评分前5的影片的所有评分

3. 得到平均评分前5的影片的在上映第一年每天的平均评分、评分标准差和评分数

4. 统计所有用户的平均评分和评分数

5. 得到评分数前5的用户的所有评分

实验步骤：

一、数据存储

将数据集存储在HDFS分布式文件系统；

（1）将电影评分存放在HDFS上，路径为/data/rating/rating.csv”，各字段以制表符分隔；

（2）将影片信息存放在HDFS上，路径为/data/info/info.csv”，各字段以制表符分隔；

二、生成数据库文件

使用Hive生成数据库与表格；

（1）将电影评分存放在了Hive上，表名为“bigdata_cases.movie_rating”。

（2）将影片信息存放在Hive上，表名为“bigdata_cases.movie_info”。

三、数据分析处理

用Hive做数据分析处理，所有代码在大数据计算集群上执行；

1. 统计所有2000年以后上映影片的平均评分和评分数

2. 得到平均评分前5的影片的所有评分

3. 得到平均评分前5的影片的在上映第一年每天的平均评分、评分标准差和评分数

4. 统计所有用户的平均评分和评分数

5. 得到评分数前5的用户的所有评分

四.数据可视化

1.打开R语言环境， import ggplot2

2. 画出所有2000年以后上映影片的平均评分和评分数的直方图

(1)画出所有2000年以后上映影片的平均评分的直方图，其中横坐标表示平均评分，纵坐标表示影片的数量。

(2)画出所有2000年以后上映影片的评分数的直方图，其中横坐标为对数尺度表示访问量，纵坐标为平方根尺度表示域名的数量。

(3)画出平均评分前5的影片评分的分布柱状图

(4)画出平均评分前5的影片的在上映第一年每周的平均评分、评分标准差和评分数。

横坐标表示距离影片收到第一条评分过的周数，纵坐标表示影片的平均评分，线条粗细表示评分数，灰色区域表示影片平均评分的95%置信区间。

(5)

画出所有用户平均评分和评分数的直方图

1. 画出所有用户平均评分的直方图，其中横坐标表示平均评分，纵坐标表示用户的数量。

2. 画出所有用户评分数的直方图，其中横坐标表示平均评分，纵坐标为对数尺度表示用户的数量。

6.画出评分数前5的用评分的分布柱状图

横坐标表示不同用户，纵坐标表示评分的累积百分比，颜色表示不同评分。