一次mr程序的执行流程
- 数据输入到map程序做拆解的处理生成kv
- reduce会对数据做统计
- reduce程序执行完毕之后会调用cleanup程序
一个reduce程序
在reduce的过程中可以将统计的结果放在hashmap当中,然后在最后reduce处理完毕之后调用cleanup的过程中对所有的hashmap进行统计排序。因为每次reduce调用之后都回调用cleanup程序,所以如果想到的得到唯一的结果,就只能使用一个reduce程序。
缺点:实现是可以实现这个功能,但是会失去分布式的意义,其次用hashmap来存储数据可能会导致内存被打满。
多个reduce程序
每个reduce都处理一部分的数据内容,最后再开启一个reduce程序处理这些数据。或者使用普通程序对数据排序。
如果重复的数据内容比较多的的话这样的方法也可以使用,不然开一个reduce也可以完成任务。
需要自动排序
使用treemap等容器
如何高效的完成一次统计
可以使用自定义的数据类型作为key,将id和后面包含的数据都放入key中
重写compare函数可以让oid先按照从小到大的顺序排序,之后的订单金额还要进行倒排
重写数据分发规则:让orderid相同的数据分给同一个reduce task(返回相同的分区号)
reduce task 只需要输出某一个oid中前三条数据