用什么做K
既然解决问题,那就避免不了要重写组件来实现自己的要求
inputformat map (combine) partitioner compare (writerable) grouping reduce outputformat
inputformat 默认 Textinputformat 读取一行文件
map toString() split 切分提取 然后如果是合并类似的操作combine
自定义分区 实现partitioner
输出的排序方式 实现compare
自定义bean即多个对象是合成一个bean implement writable
原则 map 一次处理一行数据 ,context.write() 提前实例化
grouping 决定是否为相同的key ,
reduce 一次只处理一组相同key的值即 iterable中的值,
outputformat输出自定义
也可多个mr组合起来,
即一个mr处理成方便处理的格式,再交给下一个mr
map切分 reduce合并