MapReduce 项目练习

在 hdfs 目录/tmp/tianliangedu/input/wordcount 中有一系列文件，内容均为",“号分隔，求按”,"号分隔的各个元素的出现频率，输出到目录/tmp/tianliangedu/output/个人用户名的 hdfs目录中。

Java代码为

//启动 mr 的 driver 类
public class WordCountDriver_1 {
// map 类，实现 map 函数
public static class MyTokenizerMapper extends
Mapper<Object, Text, Text, IntWritable> {
// 暂存每个传过来的词频计数，均为 1,省掉重复申请空间
private final static IntWritable one = new IntWritable(1);
// 暂存每个传过来的词的值，省掉重复申请空间
private Text word = new Text();

	// 核心 map 方法的具体实现,逐个<key,value>对去处理
	public void map(Object key, Text value, Context context)
			throws IOException, InterruptedException {
		// 用每行的字符串值初始化 StringTokenizer
		StringTokenizer itr = new StringTokenizer(value.toString(),",");
		// 循环取得每个空白符分隔出来的每个元素
		while (itr.hasMoreTokens()) {
			// 将取得出的每个元素放到 word Text 对象中
			word.set(itr.nextToken());
			// 通过 context 对象，将 map 的输出逐个输出
			context.write(word, one);
		}
	}
}

// reduce 类，实现 reduce 函数
public static class IntSumReducer extends
		Reducer<Text, IntWritable, Text, IntWritable> {
	private IntWritable result = new IntWritable();

	// 核心 reduce 方法的具体实现,逐个<key,List(v1,v2)>去处理
	public void reduce(Text key, Iterable<IntWritable> values,
			Context context) throws IOException, InterruptedException {
		// 暂存每个 key 组中计算总和
		int sum = 0;
		// 加强型 for,依次获取迭代器中的每个元素值,即为一个一个的词频数值
		for (IntWritable val : values) {
			// 将 key 组中的每个词频数值 sum 到一起
			sum += val.get();
		}
		// 将该 key 组 sum 完成的值放到 result IntWritable 中，使可以序列化输出
		result.set(sum);
		// 将计算结果逐条输出
		context.write(key, result);
	}
}

// 启动 mr 的 driver 方法
public static void main(String[] args) throws Exception {
	// 得到集群配置参数
	Configuration conf = new Configuration();
	// 设置到本次的 job 实例中
	Job job = Job.getInstance(conf, "wjq");
	// 指定本次执行的主类是 WordCount
	job.setJarByClass(WordCountDriver_1.class);
	// 指定 map 类
	job.setMapperClass(MyTokenizerMapper.class);
	// 指定 combiner 类，要么不指定，如果指定，一般与 reducer 类相同
	job.setCombinerClass(IntSumReducer.class);
	// 指定 reducer 类
	job.setReducerClass(IntSumReducer.class);
	// 指定 job 输出的 key 和 value 的类型,如果 map 和 reduce 输出类型不完全相同，需
	// 要重新设置 map 的 output 的 key 和 value 的 class 类型
	job.setOutputKeyClass(Text.class);
	job.setOutputValueClass(IntWritable.class);
	// 指定输入数据的路径
	FileInputFormat.addInputPath(job, new Path(args[0]));
	// 指定输出路径,并要求该输出路径一定是不存在的
	FileOutputFormat.setOutputPath(job, new Path(args[1]));
	// 指定 job 执行模式，等待任务执行完成后，提交任务的客户端才会退出!
	System.exit(job.waitForCompletion(true) ? 0 : 1);
}

}

运行结果为