调用MapReduce对文件中各个单词出现次数进行统计

调用MapReduce对文件中各个单词出现次数进行统计

实验配置：系统:Ubuntu Kylin | 环境：Hadoop | 软件：Eclipse

一.调用MapReduce执行WordCount对单词进行计数

1.准备

准备一个不少于10000万单词的文本文件，内容不限；
将实验的文本文件上传到HDFS中（确保Hadoop为开启状态）；

./bin/hdfs dfs -put /usr/local/hadoop/demo.txt  input

调用ls命令查看文件上传情况

./bin/hdfs dfs –ls input

上传成功后可以在文件中看到实验文件。

接着，我们利用Ubuntu左侧边栏自带的软件中心安装软件，在Ubuntu左侧边栏打开软件中心，在搜索框输入Eclipse找到对应文件，下载Eclipse。

下载后执行如下命令

sudo tar -zxf ~/下载/eclipse-java-mars-1-linux-gtk*.tar.gz -C /usr/lib

将 Eclipse 安装至 /usr/lib 目录中。

安装完Eclipse，我们还需要安装 hadoop-eclipse-plugin，用于在 Eclipse 上编译和运行 MapReduce 程序，下载后，将 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar 复制到 Eclipse 安装目录的 plugins 文件夹中，运行 eclipse -clean 重启 Eclipse。

unzip -qo ~/下载/hadoop2x-eclipse-plugin-master.zip -d ~/下载    
sudo cp ~/下载/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/   
/usr/lib/eclipse/eclipse -clean    

2. Hadoop-Eclipse-Plugin 配置

打开Eclipse，可以看到左边的Project Explorer里出现了DFS Locations

第一步选择 Window 菜单下的 Preference

找到 Hadoop Map/Reduce 选项，填入Hadoop 的安装地址

第二步打开 Map/Reduce 开发视图，选择 Window 菜单，选择 Open Perspective -> Other，选择 Map/Reduce 选项进行切换