Hadoop | 基于Java语言的MapReduce操作案例 | 词频统计

运行环境

Ubuntu 16.04
Hadoop3.1.3
Jdk8
Eclipse 3.8.0
Hadoop伪分布式环境

1. 启动Hadoop集群

---

$ start-all.sh

检查hdfs是否启动成功

$ hdfs dfs -ls /

2. 用eclipse创建java程序，导入jar包

导入相关的jar包：
hadoop/share/hadoop/common/*.jar
hadoop/share/hadoop/mapreduce/*.jar
hadoop/share/hadoop/common/lib

配置eclipse的字体界面，便于代码编写


修改工作空间workplace的默认jdk版本

由于eclipse版本问题，每次创建的项目默认jdk为1.4，现对其进行设置，配置成统一的jdk版本，最高的为1.7，操作步骤如下图所示。

2.1 编写Java程序并编译运行：

---

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache