大数据学习——WordCount案例分析（下）

最新推荐文章于 2023-07-21 13:19:49 发布

原创

最新推荐文章于 2023-07-21 13:19:49 发布 · 484 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

本文深入探讨大数据WordCount案例，重点分析Mapper类中的IntWritable和Text类，以及Mapper的map方法中Context对象的角色。Mapper通过context.write()输出单词和计数，而StringTokenizer用于字符串分隔。接着，讲解Reducer的reduce方法，说明如何处理键值对，将单词与对应的一系列计数值整合。

Mapper类中的成员方法及对象

IntWritable类：
public class IntWritable
extends Object
implements WritableComparable
是WritableComparable接口的实现类并继承了object类，此类的有参构造方法为IntWritable(int value)。

Text类：
set方法其中的一种重载形式：

set(String string)
Set to contain the contents of a string.

map方法：
在写Mapper的继承类时，要重写Mapper类里的map方法，其中有一个Context参数，Mapper.Context类里的构造方法为：

public Mapper.Context(Configuration conf,
                      TaskAttemptID taskid,
                      RecordReader<KEYIN,VALUEIN> reader,
                      RecordWriter<KEYOUT,VALUEOUT> writer,
                      OutputCommitter committer,
                      StatusReporter reporter,
                      InputSplit split)
               throws IOException,
                      InterruptedException

其中的RecordReader参数用来获取输入信息，
InputSplit参数保存了输入文件的路径、范围及位置信息，
RecordWriter参数保存了处理后即将输出的信息，
Sta