MapReduce学习笔记-MR编程规范

MR编程规范

用户编写的程序分为三部分：Mapper，Reducer，Driver

Mapper

1. 自定义的Mapper要继承自己的父类
2. 输入是kv对的形式，类型可自定义
3. 业务逻辑在map()函数中实现
4. 输出也是kv对形式
5. map()对每一组kv对只能调用一次

Reducer

1. 自定义的Reducer要继承自己的父类
2. 输入是类型对应Mapper的输出，也是kv对形式
3. 业务逻辑写在reducer()里
4. 对每一组相同的key的kv组调用一次reducer()，方便对一个key进行汇总操作

Driver

（基本上就是固定格式）