开篇语:
记于映像笔记,现搬运至csdn。
算是大数据的第一份代码,这里做详尽解析,有什么有问题请指出。thx
MapReduce:
在开始看WordCount的代码之前,先简要了解下什么是MapReduce。HDFS和MapReduce是Hadoop的两个重要核心,其中MR是Hadoop的分布式计算模型。MapReduce主要分为两步Map步和Reduce步,引用网上流传很广的一个故事来解释,现在你要统计一个图书馆里面有多少本书,为了完成这个任务,你可以指派小明去统计书架1,指派小红去统计书架2,这个指派的过程就是Map步,最后,每个人统计完属于自己负责的书架后,再对每个人的结果进行累加统计,这个过程就是Reduce步。
WordCount程序:
程序的功能:假设现在有n个文本,WordCount程序就是利用MR计算模型来统计这n个文本中每个单词出现的总次数。
主要阶段:Input、Split(分解)、Map(映射)、Shuffle(洗牌)、Reduce(归纳)、Final reduce
代码解析
数据:/wc/data/wc.txt
A B C
D E F
A B C
代码中需要overide为map、reduce,其他步骤使用hadoop api默认封建的即可
重写map:
mapreduce api出入参都对应着键值,这里map的入参为<第一个字符相对文件流的偏移量,行数据>,出参为<每个单词,1>
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
/**
* mapper阶段的处理逻辑写在map方法中,mapreduce框架会有人来调用这个方法 默认情况下调用的规律是:每一行数据传递进来,就调用一次
*
* 方法中的参数key,就是这一行的起始偏移量 方法中的参数value,就是这一行的内容
*/
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
// 拿到一行的内容转换成String类型
String line = value.toString();
// 将这一行内容切分出单词
String[] words = line.split("\t");
// 遍历输出每一个单词和1
for (String word : words) {
context.write(new Text(word), new IntWritable(1));
}
}
}
入参
<0,"A B C">
<5,"D E F">
<10,"A B C">
出参:
<A,1> <B,1> <C,1>
<C,1> <D,1> <E,1>
<A,1> <B,1> <C,1>
重写reduce
reduce的出入参也是键值对,但入参是不是map的出参,而是经过默认的shullfe之后生成的<单词,{1,1,1}>,每个但是有多少个就会有几个1,如A有两个,他的对应键值对为<A,{1,1}>。reduce的出参为<单词,单词的个数>
public class WordCountReducer extends Reducer<Text,IntWritable,Text,IntWritable>{
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
int count=0;
//遍历所有的1,将这些1相加,得到每个单词的总个数
for(IntWritable value:values){
count+=value.get();
}
//将单词、单词的个数作为键值对传进mapreduce
context.write(key, new IntWritable(count));
}
}
入参:
<A,{1,1}> <B,{1,1}> <C,{1,1}>
<C,{1}> <D,{1}> <E,{1}>
出参:
<A,2> <B,2> <C,2>
<C,1> <D,1> <E,1>
mapreduce已经封装好了所有的步骤,这里只需重写需要给的接口即可实现功能