MapReduce的核心思想编程

案例需求：统计一个文件（存储的都是单词）200m，查询每个单词出现的次数，（a-i开头的放在一个文件）<j-z开头的放在另外一个文件>  datanode200m; datanode默认128m；因此数据分成两快；

1.map阶段；调用MapTask任务：

第一个datanode数据块：

读数据；按行处理；切分；HashMap<单词，value+1>;

处理完成后按照首字母范围分为两个hashmap

第二个datanode数据块：

读数据，按行处理；切分；HashMap<单词，value+1>;

处理完成后按照首字母范围分为两个hashmap

2.reduce阶段 ReduceTask任务

把两个分布式处理的返回结果进行统计，汇总成一个，然后输出结果

mapreduce提高文件处理效率：并发处理，互不干扰

 

package mapreduce01;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;



/* 驱动类
 * 建立客户端*/
public class WordCountDriver {

	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		//1.获取job信息--实例化任务
		Configuration conf=new Configuration();
		Job job =Job.getInstance();
		//2.获取jar包--放入jar包存储的位置，没有的话，直接指定主程序
		job.setJarByClass(WordCountDriver.class);
		//3.获取自定义的map/reduce类
		job.setMapperClass(MapperDemo.class);
		job.setReducerClass(ReduceDemo.class);
		//4.设置map输出的数据类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		//5.设置reduce输出的数据类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		//6.设置输入存在的路径与输出路径
		FileInputFormat.setInputPaths(job, new Path("f://hadoop数据/in"));
		FileOutputFormat.setOutputPath(job, new Path("f://hadoop数据/out"));
		//7.提交任务
		boolean res=job.waitForCompletion(true);
		System.out.println("输出结果：..."+res);
	}

}

package mapreduce01;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;



/*
 * 单词计数
 * <单词，1>
 * Mapper<KeyIn,valuein,keyout,valueout>
 * keyin:数据的起始偏移量：0—10；11-20；21-30；
 * valuein:数据
 * keyout:map输出到reduce阶段的k值
 * valueout:map输出到reduce阶段的v值
 * */
public class MapperDemo extends Mapper<LongWritable,Text,Text,IntWritable>{
	//实现未实现的方法 key 起始偏移量 value 数据 context 上下文
	@Override
	protected void map(LongWritable key, Text value,Context context)
			throws IOException, InterruptedException {
		//1.读取数据
		String line = value.toString();
		//2.切割
		String[] words=line.split(" ");
		//3.循环的写到下一个阶段<hashmap>
		for(String word:words) {
			context.write(new Text(word), new IntWritable(1));
		}
	
	}

}

reduce里面的迭代循环：意思是说相同的key提交一次任务？？？？

package mapreduce01;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

/*
 *聚合，相同的单词，value值加1
 * */
public class ReduceDemo extends Reducer<Text, IntWritable, Text, IntWritable>{
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
		//1.统计单词出现的次数?如何把相同单词辨识出来？
		int sum=0;
		//2.累加求和
			for(IntWritable count:values) {
				sum+=count.get();
			}
		//3.输出
			context.write(key,new IntWritable(sum));
	}

}