![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
play_chess_ITmanito
时间是个庸医 却号称包治百病
什么都不做,才会来不及
大数据从业者,喜用Python语言
展开
-
Hadoop,MapReduce,HDFS面试题
今天发这个的目的是为了给自己扫开迷茫,告诉自己该进阶了,以下内容不一定官方和正确,完全个人理解,欢迎大家留言讨论 1.什么是hadoop答:是google的核心算法MapReduce的一个开源实现。用于海量数据的并行处理。 hadoop的核心主要包含:HDFS和MapReduce HDFS是分布式文件系统,用于分布式存储海量数据。 MapReduce是分布式数据处原创 2016-04-08 08:32:33 · 812 阅读 · 0 评论 -
Mapreduce排序
1、MapReduce中排序发生在哪几个阶段??这些排序是否可以避免,为什么?? 答:一个MapReduce作业由Map阶段和Reduce阶段两部分组成,这两阶段会对数据排序,从这个意义上说,MapReduce框架本质就是一个Distributed Sort。在Map阶段,在Map阶段,Map Task会在本地磁盘输出一个按照key排序(采用的是快速排序)的文件(中间可能产生多个文件,但最终会合并原创 2016-04-07 20:41:56 · 2243 阅读 · 0 评论