一.定义一个mapper类
1.首先要定义四个泛型的类型
keyin:LongWritable keyout:Text
valuein:Text valueout:IntWritable
Mapper<keyin, keyout,valuein,valueout>
keyin:表示数据输入的时候key的数据类型,在默认的读取数据组件下,叫InputFormat, 它的行为是一行一行的读取待处理的数据,读取一行,返回一行给我们的mr程序 [在这种情况下,keyin就表示每一行的起始偏移量,它的数据类型是Long]
valuein:表示数据输入的时候value的数据类型, [在默认的读取数据组件下,valuein就表示读取的这一行内容,因此数据类型是String]
keyout:表示mapper数据输出的时候key的数据类型 [在本案例中,输出的key是单词,因此数据类型是String]
valueout:表示mapper数据输出的时候value的数据类型 [在本案例中,输出的value是单词的次数,因此数据类型是Integer]
这里所说的数据类型String,Long都是jdk自带的类型,在序列化的时候,效率低下,因此hadoop自己封装一套数据类型
long---->LongWritable
String—>Text
Integer—>IntWritable
null—>NullWritable
这里就是mapper阶段具体的业务逻辑实现方法,该方法的调用取决于读取数据的组件有没有给mr传入数据,如果有的话,没传入一个<k,v>时,该方法就会被调用一次
public class WordCountMap extends Mapper<LongWritable,Text,Text,IntWritable> {
//重写map方法
@Override
protected void map(LongWritable key, Text value, Context con