Hadoop综合大作业

 

Hadoop综合大作业 要求：

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。

  1、启动hadoop

  

2、Hdfs上创建文件夹并查看

3、上传英文词频统计文本至hdfs

4、启动Hive

5、导入文件内容到表docs并查看

6、进行词频统计

7、查看统计结果

 

 2.将爬取校园新闻生成的csv文件，然后通过qq邮箱在虚拟机的Linux系统下载

把下载的csv文件上传到hdfs,然后启动hive

3.导入数据到docs表并查看

4.查看docs表

 

 

转载于:https://www.cnblogs.com/qq412158152/p/9087793.html