一次mr程序的执行流程
- 数据输入到map程序做拆解的处理生成kv
- reduce会对数据做统计
- reduce程序执行完毕之后会调用cleanup程序
一个reduce程序
在reduce的过程中可以将统计的结果放在hashmap当中,然后在最后reduce处理完毕之后调用cleanup的过程中对所有的hashmap进行统计排序。因为每次reduce调用之后都回调用cleanup程序,所以如果想到的得到唯一的结果,就只能使用一个reduce程序。
缺点:实现是可以实现这个功能,但是会失去分布式的意义,其次用hashmap来存储数据可能会导致内存被打满。
多个reduce程序
每个reduce都处理一部分的数据内容,最后再开启一个reduce程序处理这些数据。或者使用普通程序对数据排序。
如果重复的数据内容比较多的的话这样的方法也可以使用,不然开一个reduce也可以完成任务。
需要自动排序
使用treemap等容器
如何高效的完成一次统计
可以使用自定义的数据类型作为key,将id和后面包含的数据都放入key中
重写compare函数可以让oid先按照从小到大的顺序排序,之后的订单金额还要进行倒排
重写数据分发规则:让orderid相同的数据分给同一个reduce task(返回相同的分区号)
reduce task 只需要输出某一个oid中前三条数据
本文探讨了一次MapReduce(MR)程序的执行流程,包括数据由map处理成键值对,reduce进行统计,以及cleanup阶段。在单reduce程序中,所有数据会被汇总到一个reduce任务中进行排序和统计,但可能导致内存问题。而多reduce方案则可并行处理部分数据,适合处理大量重复数据。通过自定义数据类型和比较函数,可以优化数据分发和排序,确保同一订单ID的数据被同一reduce处理,从而提取特定数量的记录。
1618

被折叠的 条评论
为什么被折叠?



