调用MapReduce对文件中各个单词出现的次数进行统计

文章目录

• 需求描述
• 一、环境介绍
• 二、具体步骤

---

需求描述

1.将待分析的文件（不少于10000英文单词）上传到HDFS。

2.调用MapReduce对文件中各个单词出现的次数进行统计。

3.将统计结果下载本地。

---

一、环境介绍

Ubuntu 14.04

Hadoop 2.6.0

Eclipse 3.8

JAVA环境

二、具体步骤

1.将一个10000字英语单词的文件直接拖到hadoop中

2.启动hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh

jps查看是否启动成功

3.将文件上传至HDFS并查看是否成功

./bin/hdfs dfs -put /home/hadoop/xxx.txt input
./bin/hdfs dfs -ls input #查看是否上传成功 

4.在应用商店中下载Eclipse

5.安装Hadoop-Eclipse-Plugin

unzip -qo ~/下载/hadoop2x-eclipse-plugin-master.zip -d ~/下载    #解压到~/下载 中
sudo cp ~/下载/hadoop2x-ec