![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
hochoy
这个作者很懒,什么都没留下…
展开
-
MR 之 计数器
MR 之 计数器首先我们看一个MapReduce程序的其中一段log,由此log中我们对MR的计数器的分析和学习(以下log中注释是对其中涉及计数器的说明)。16/03/22 14:25:30 INFO mapreduce.Job: Counters: 49 // 表示本次job共49个计数器 File System Counters // 文件系统计数器 FILE: Numbe...原创 2018-03-24 21:11:19 · 1137 阅读 · 0 评论 -
MapReduce Input Split(输入分/切片)详解
MapReduce Input Split(输入分/切片)详解来源:https://blog.csdn.net/Dr_Guo/article/details/51150278看了很多博客,感觉没有一个说的很清楚,所以我来整理一下。先看一下这个图输入分片(Input Split):在进行map计算之前,mapreduce会根据输入文件计算输入分片(input split),每个输入分片(input ...转载 2018-03-25 10:25:14 · 962 阅读 · 0 评论 -
MR 之 Combiner
MR 之 Combiner背景: MR的map将数据处理成一个<key,value>键值对,在网络节点间进行整理(shuffle),然后使用Reducer处理数据并进行最终输出。 在上述过程中,我们看到至少两个性能瓶颈:(引用)思考: 如果我们有10亿个数据,Mapper会生成10亿个键值对在网络间进行传输,但如果我们只是对数据求最大...原创 2018-03-21 21:34:27 · 827 阅读 · 0 评论 -
MapReduce 之 排序
排序是MapReduce核心技术,尽管实际应用中可能不需要对数据进行排序,但是MapReduce过程本身就含有排序的概念。MapReduce的排序是默认按照Key排序的,也就是说输出的时候,key会按照大小或字典顺序来输出,比如一个简单的wordcount,出现的结果也会是左侧的字母按照字典顺序排列。 1)排序的分类:(1)部分排序:MapReduce中默认的排序方式,默认输出是按照键的自...原创 2018-05-05 09:15:21 · 1754 阅读 · 0 评论