![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
Alaskyed
辣白菜
展开
-
Hadoop(11) MapReduce-4 分组和OutputFormat
Hadoop(11) MapReduce-4 分组和OutputFormat 分组(GroupingComparable) GroupingComparable介绍 GroupingComparable作用 GroupingComparable是在Reduce阶段, 在数据进入Reducer之前, 对数据进行一个或几个字段的分组(默认是key相同的数据为同一组), 然后使数据分组次进入Red...原创 2020-04-02 10:03:26 · 210 阅读 · 0 评论 -
Hadoop(10) MapReduce-3 分区, 排序和合并
Hadoop(10) MapReduce-3 分区, 排序和合并 分区(Partition) 分区的介绍 分区的作用 之前我们介绍过, 每个分区对应一个ReduceTask, 如果所有MapTask的结果都由一个ReduceTask来汇总, 会很慢, 所以对MapTask的内容进行分区, 交由不同的ReduceTask来执行 分区发生的时间 在map()方法执行时, 会将文件写入一个临时缓存,...原创 2020-04-01 08:40:35 · 535 阅读 · 0 评论 -
Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormat
Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormat 文章目录Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormatInputFormat切片和提交的过程InputFormat介绍FileInputFormat机制及其实现类FileInputFormat介绍源码中计算大小的公式FileInputForm...原创 2020-04-01 08:38:47 · 201 阅读 · 0 评论