Hadoop综合大作业

本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339

前言：本次作业爬取猫眼电影 一出好戏的评论，整合成csv文件

作业要求

1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS

2.把hdfs中的文本文件最终导入到数据仓库Hive中，在Hive中查看并分析数据

3.用Hive对爬虫大作业产生的进行数据分析（10条以上的查询分析）

大数据分析

1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS

首先，我们需要在本地中创建一个/usr/local/bigdatacase/dataset文件夹,具体的步骤为：

① cd /usr/local

② sudo mkdir bigdatacase

③ cd bigdatacase/

④ sudo mkdir dataset

⑤ cd dataset/

如下图所示：

其次，我们把lagoupy.csv文件放到下载这个文件夹中，并使用命令把lagoupy.csv文件拷贝到我们刚刚所创建的文件夹中，具体步骤如下：

① sudo cp /home/chen/下载/lagoupy.csv /usr/local/bigdatacase/dataset/ #把lagoupy.csv文件拷到刚刚所创建的文件夹中

② head -5 lagoupy.csv #查看这个文件的前五行

如下图所示：

 

接着，启动hadoop，步骤如下：

① start-all.sh #启动hadoop

② jps #查看hadoop是否启动成功

如下图所示：

将爬虫大作业产生的csv文件上传到HDFS，再一次对csv文件进行处理，生成无标题文本文件

 

① hdfs dfs -mkdir -p /bigdatacase/dataset #在hdfs上新建/bigdatacase/dataset

② hdfs dfs -ls /

③ hdfs dfs -put ./lagoupy.csv /bigdatacase/dataset #把本地文件lagoupy.csv上传至hdfs中

④ hdfs dfs  -ls /bigdatacase/dataset #查看

⑤ hdfs dfs -cat /bigdatacase/dataset/lagoupy.csv | head -5 #查看hdfs中lagoupy.csv的前五行

如下图所示：

最后，我们把本地的文件上传至HDFS中，步骤如下：

① hdfs dfs -mkdir -p /bigdatacase/dataset #在hdfs上新建/bigdatacase/dataset

② hdfs dfs -ls /

③ hdfs dfs -put ./lagoupy.csv /bigdatacase/dataset #把本地文件lagoupy.csv上传至hdfs中

④ hdfs dfs  -ls /bigdatacase/dataset #查看

⑤ hdfs dfs -cat /bigdatacase/dataset/lagoupy.csv | head -5 #查看hdfs中lagoupy.csv的前五行

如下图所示：

把hdfs中的文本文件最终导入到数据仓库Hive中

 

① service mysql start #启动mysql数据库

并且检测端口3306是否有给占用

② cd /usr/local/hive

③ ./bin/hive #启动hive

如下图所示

其次，把hdfs中的文本文件最终导入到数据仓库Hive中，并在Hive中查看并分析数据，具体步骤如下：

① create database dblab;  -- 创建数据库dblab

② use dblab;

③ create external table cucn(aa string,number int,click int,title string,riqi string,text string) row format delimited fields terminated by '\t' stored as textfile location '/bigdatacase/dataset/';  -- 创建表cucn并把hdfs中/bigdatacase/dataset/目录下的数据加载到表中

④ select * from cucn limit 10; -- 查看cucn中前10行的数据

如下图所示：

 

 

 

用Hive对爬虫大作业产生的进行数据分析（10条以上的查询分析）

.查找评分为5

 

 

 查找评分为4的的数量

评分为4.5

评分为3.5

 

评分为3

评分为2

评分为1

 结论：评分为5的数量（在爬取的20000+条数据中给出五分满分的有13000接近14000的数量，接近70%）可见观众评论对此非常之高 我们可以看到，在评分4.5以下不足20/1     符合大多数人们的审美口味和观影习惯，一个受众面宽广的电影。

查看平均评分

 结论：平均评分高达4.7+  ，高出2018年暑期档平均分4.0（数据出自猫眼电影有）0.7之多，而一般来说，高于4.5，就代表不是能看，而是会给观众带来深度思考，引发现象的现象级电影。

寻找多少城市参加了评论

 

 结论：总共有897个城市参加了，中国2800个县级市中，参评人数不足1/2，可见其实还是相当多人数没有把电影当作日常消遣行为，中国经济地区发展不平衡还比较严重。　　

查看评分大于4的城市排行

结论：结果显示，在排名中，还是北上广深等一线城市打分人数更多，人口基数更多。经济发展水平更高/

查看在上映之前就评论的人数

结论：电影播出之前，黄渤第一次做导演，演员卡司中，张艺兴被誉为流量明星代表。更多观众是抱着所谓的“极限挑战大电影去期待的”所以并没有多少人关心。而推出之后，口碑水涨船高，观众纷纷自来水

存在问题：1.电脑硬件原因，当数据量过大的时候，hive会出现以杀死现象。因此没有爬取全部的电影评论，而是截取了其中的两万条数据。和实际情况可能存在误差。

                  2.create表中，把分数设置为了，double型，导致会出现null，后来通过更改数据类型为string解决了这个问题。

                  3. 尽管可能座过数据清洗，但可能还会存在脏数据的情况。电脑允许的情况下可以通过增大数据量来减少这种误差。

心得体会：在本学期老师的细心指导下，完成了本次大作业的完成。学会了基本的python爬虫语法和相关的反爬虫策略。对于网络请求有了新的认识。了解了hadoop大数据平台的结构和基本操作方式。能够在实际过程中解决一些简单的问题。学会大数据分析的理论和相关操作。获得了相关经验和能力。感谢老师一个学期的辛勤付出

               

转载于:https://www.cnblogs.com/cjx666/p/11032534.html