在hive中实现wordcount算法

       在Java和hive中均能进行wordcount算法，但在hive中更为简便，接下来就是在hive中实现wordcount算法的简便步骤：

 

1、先下载好自己所用的词频统计文件，然乎拖进自己虚拟机的主目录里；

 这里我们使用西游记（xiyouji_cut.txt）作为例子

2、在虚拟机桌面右键，打开终端，输入指令启动自己的虚拟机；

指令：start-all.sh

3、启动hive

指令：hive

4、使用自己的数据库

指令：use 数据库名；

 5、创建一个外部表，将西游记里面的数据导入这个外部表中；

指令：create external table xiyouji(line string)
location 'hdfs://localhost:9000/hadoop_class/hive_wordcount';

6、验证：查看表和表中的数据是否导入进去；

1）、查看表

指令：show tables;

2）、查看内容 

指令:select * from xiyouji;

7、最后将各词汇装进count表中，并进行排序写出前10行的内容；

指令：select word,count(1) as count from
(select explode(split(line," ")) as word from xiyouji) temp
 group by word
order by count desc limit 10;

结果显示：