大数据应用期末总评——Hadoop综合大作业

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339

Hadoop综合大作业 要求：

1.将爬虫大作业产生的csv文件上传到HDFS

此处选取的是爬虫大作业——对猫眼电影上《小偷家族》电影的影评。

此处选取的是comment.csv文件，共计20865条数据。

将comment.csv上传到HDFS

2.对CSV文件进行预处理生成无标题文本文件

编辑pre_deal.sh文件对csv文件进行数据预处理。

使得pre_deal.sh中的内容生效。

 

3.把hdfs中的文本文件最终导入到数据仓库Hive中

创建数据库dblab