hadoop使用mapreduce统计词频_hadoop利用mapreduce运行词频统计（非例程）

1.运行环境

1.Ubuntu16.04单系统

2.hadoop-3.2.1

2.操作步骤

1.使用eclipse编写map reduce run 函数

2.导出jar包

3.将需要进行词频统计的文件上传到集群

4.在命令行中输入命令调用所写jar包运行

5.在命令行中输入命令查看集群中输出的词频统计文件

3.1 使用eclipse编写map reduce run 函数

1.打开eclipse ------单击file--project---maven project---next----next----输入两个id(随便填写)-finish----------------------------------------------------------------创建一个maven工程文件

2.双击pom.xml文件---进入这个网站-------打开四个新页面,分别为## Apache Hadoop MapReduce CoreApache Hadoop MapReduce Common Apache Hadoop Common Apache Hadoop HDFS

选取各自电脑上相对应的hadoop版本后将新页面下的内容复制到

之中----------------------之后再在

UTF-8

中添加3.2.1

并将复制的四段内容中的之间的内容更改为${hadoop.version}

最后保存！

------------------------------------------------配置eclipse程序的所运行环境,下载相应的jar包

本人配置如下:

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://ma