hadoop基本代码（一） word count

开篇语：

记于映像笔记，现搬运至csdn。

算是大数据的第一份代码，这里做详尽解析，有什么有问题请指出。thx

 

MapReduce:

在开始看WordCount的代码之前，先简要了解下什么是MapReduce。HDFS和MapReduce是Hadoop的两个重要核心，其中MR是Hadoop的分布式计算模型。MapReduce主要分为两步Map步和Reduce步，引用网上流传很广的一个故事来解释，现在你要统计一个图书馆里面有多少本书，为了完成这个任务，你可以指派小明去统计书架1，指派小红去统计书架2，这个指派的过程就是Map步，最后，每个人统计完属于自己负责的书架后，再对每个人的结果进行累加统计，这个过程就是Reduce步。

 

WordCount程序：

程序的功能：假设现在有n个文本，WordCount程序就是利用MR计算模型来统计这n个文本中每个单词出现的总次数。

主要阶段：Input、Split（分解）、Map（映射）、Shuffle（洗牌）、Reduce（归纳）、Final reduce

 

 

代码解析

数据：/wc/data/wc.txt

A    B    C
D    E    F
A    B    C

代码中需要overide为map、reduce，其他步骤使用hadoop api默认封建的即可

重写map：
mapreduce api出入参都对应着键值，这里map的入参为<第一个字符相对文件流的偏移量，行数据>，出参为<每个单词,1>

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

	/**
	 * mapper阶段的处理逻辑写在map方法中，mapreduce框架会有人来调用这个方法 默认情况下调用的规律是：每一行数据传递进来，就调用一次
	 * 
	 * 方法中的参数key，就是这一行的起始偏移量 方法中的参数value，就是这一行的内容
	 */
	@Override
	protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

		// 拿到一行的内容转换成String类型
		String line = value.toString();

		// 将这一行内容切分出单词
		String[] words = line.split("\t");

		// 遍历输出每一个单词和1
		for (String word : words) {

			context.write(new Text(word), new IntWritable(1));

		}

	}

}

入参
<0,"A    B    C">
<5,"D    E    F">
<10,"A    B    C">


出参:
<A,1>    <B,1>    <C,1>
<C,1>    <D,1>    <E,1>
<A,1>    <B,1>    <C,1>

 

重写reduce

reduce的出入参也是键值对，但入参是不是map的出参，而是经过默认的shullfe之后生成的<单词,{1,1,1}>,每个但是有多少个就会有几个1，如A有两个，他的对应键值对为<A,{1,1}>。reduce的出参为<单词，单词的个数>

public class WordCountReducer  extends Reducer<Text,IntWritable,Text,IntWritable>{

	@Override
	protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
		int count=0;
        //遍历所有的1，将这些1相加，得到每个单词的总个数
		for(IntWritable value:values){
			count+=value.get();
		
		}
        //将单词、单词的个数作为键值对传进mapreduce
		context.write(key, new IntWritable(count));

	}

}

入参:
<A,{1,1}>    <B,{1,1}>    <C,{1,1}>
<C,{1}>    <D,{1}>    <E,{1}>

出参:
<A,2>    <B,2>    <C,2>
<C,1>    <D,1>    <E,1>

mapreduce已经封装好了所有的步骤，这里只需重写需要给的接口即可实现功能