一、前提
1、在Mac通过jps查看进程,保证如下五个进程存在
DataNode、NameNode、SecondaryNameNode、NodeManager、ResourceManager
2、准备要计算的文件
在项目根目路径下创建source/word文件夹,并创建words文件
文件内容如下
shanghai,5 shanghai,2 beijing,3 shanghai,1 beijing,6
二、程序及解析
1、mapper
package tmp;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
public class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
//value 为读入文件的行,每一行都会调用map方法
String[] split = valu