MapReduce八股文模板

最新推荐文章于 2024-07-09 13:29:16 发布

龙子木

最新推荐文章于 2024-07-09 13:29:16 发布

阅读量3k

点赞数

分类专栏： Hadoop 文章标签： hadoop mapreduce map reduce 八股文

本文链接：https://blog.csdn.net/qq_15103205/article/details/72904708

版权

本文档提供了一个MapReduce编程的基本模板，包括Map类、Reduce类和Driver组件的实现。Map阶段定义了输入输出类型并实现了map方法，Reduce阶段同样定义了输入输出类型并实现了reduce方法。Driver组件中配置了Job，设置了输入输出路径、Mapper和Reducer类，并提交任务进行执行。

摘要由CSDN通过智能技术生成

package com.bruce.mapreduce;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class moduleMapReduce extends Configured implements Tool {

	// step 1: Map Class
	/**
	 * Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
	 * 
	 */
	//TODO update paragram
	public static class ModuleMapper extends
			Mapper<LongWritable, Text, Text, IntWritable> {

		@Override
		protected void map(LongWritable key, Text