大数据学习之wordcount

环境：Ubutun 16.04 +  Java + HDFS +Hadoop

工具：VM 15.0 + IDEA +XShell 6+ Xftp 6 

一、了解MapReduce模型：

二、代码编写，实现单词统计功能

1.导入MapReduce开发相关的jar包

2.打开IDEA开发工具， 将jar包构建到项目中

3.创建项目

4.代码编写

WordCountMapper.java

WordCountReduce.java

WordCountMain.java

5.使用IDEA将项目打jar包

6.创建data.txt文件，请输入内容：

启动服务 ：

start-all.sh

7.上传文件到HDFS中：

hdfs dfs -put data.txt /

注：hdfs dfs -put 上传文件的路径 HDFS上的路径

\

在HDFS上创建输出文件outfile的存放位置：

hdfs dfs -mkdir /outfile

8. 将jar包上传并运行：

hadoop jar  wordcount.jar  /data.txt  /out

hadoop jar jar包名 hdfs上的输入文件路径 hdfs上的输出文件路径

注：输出文件路径必须是不存在的，否则会报错。

9.查看统计结果：

项目地址：https://github.com/Li-zw/wordcount.git