![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mapreduce
文章平均质量分 80
王诗龄
这个作者很懒,什么都没留下…
展开
-
mapreduce 任务调度器的配置
需求公司里有两个部门,一个叫hive,一个叫pig,这两个部门都需要使用公司里的hadoop集群。于是问题来了,因为hadoop默认是FIFO调度的,谁先提交任务,谁先被处理,于是hive部门很担心pig这个部门提交一个耗时的任务,影响了hive的业务,hive希望可以和pig在高峰期时,平均使用整个集群的计算容量,互不影响。思路hadoop的默认调度器是FIFO,但是也有...原创 2015-01-07 10:56:31 · 196 阅读 · 0 评论 -
mapreduce 任务调度器的配置
需求公司里有两个部门,一个叫hive,一个叫pig,这两个部门都需要使用公司里的hadoop集群。于是问题来了,因为hadoop默认是FIFO调度的,谁先提交任务,谁先被处理,于是hive部门很担心pig这个部门提交一个耗时的任务,影响了hive的业务,hive希望可以和pig在高峰期时,平均使用整个集群的计算容量,互不影响。思路hadoop的默认调度器是FIFO,但是也有...原创 2015-01-07 10:56:31 · 108 阅读 · 0 评论 -
Hadoop中MapReduce多种join实现实例分析
原文:[url]http://database.51cto.com/art/201410/454277.htm[/url][b]一、概述[/b]对于RDBMS中的join操作大伙一定非常熟悉,写sql的时候要十分注意细节,稍有差池就会耗时巨久造成很大的性能瓶颈,而在Hadoop中使用MapReduce框架进行join的操作时同样耗时,但是由于hadoop的分布式设计理念的特殊性,因...原创 2015-02-11 11:13:13 · 226 阅读 · 0 评论 -
mapreduce '找共同朋友',面试题
mapred找共同朋友,数据格式如下:[quote]A B C D E FB A C D EC A B ED A B EE A B C DF A[/quote]第一字母表示本人,其他是他的朋友,找出有共同朋友的人,和共同朋友是谁答案如下:[code="java"]import java.io.IOException;i...原创 2015-02-12 15:24:25 · 435 阅读 · 0 评论 -
MapReduce剖析笔记之五:Map与Reduce任务分配过程 - esingchan
在上一节分析了TaskTracker和JobTracker之间通过周期的心跳消息获取任务分配结果的过程。中间留了一个问题,就是任务到底是怎么分配的。任务的分配自然是由JobTracker做出来的,具体来说,存在一个抽象类:TaskScheduler,主要负责分配任务,继承该类的有几个类:CapacityTaskScheduler、FairScheduler、JobQueueTask...原创 2014-11-13 16:02:57 · 175 阅读 · 0 评论