摘要:
一个WordCount单词统计程序为实例,详细演示了如何编写MapReduce程序代码以及如何打包运行程序。
参考资料:
1.创建maven项目
创建maven项目,项目名hdfs ##这里我用的文章“java操作hdfs”的项目hdfs
pom.xml文件: //与文章“java操作hdfs”的项目一样。
2.编写WordCount类
在该项目包com.scitc.hdfs中新建WordCount.java类,代码如下:
package com.scitc.hdfs;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
publi