MapReduce
章然同学
这个作者很懒,什么都没留下…
展开
-
MapReduce面试题(一)
原文作者:董西成 点击阅读原文 今天给大家介绍几道MapReduce相关的面试题,这些题目是我或者别人在面试过程中遇到的,看看你能回答出几道,明天将答案发放给大家。题目1:现有100TB的用户查询词(从搜索引擎日志中提取出来的),如何用MapReduce计算出现次数最多的K个查询词?如何对你设计的算法进行优化?考虑的优化点有:如果一个查询词出现次数非常多,产生的负载倾斜问题会不会导致...转载 2018-09-29 17:20:09 · 1934 阅读 · 0 评论 -
MapReduce面试题参考答案(一)
原文作者:董西成 点击阅读原文 昨天给大家发了几道MapReduce面试题,今天将答案分享给大家。需要注意的是,这是面试题,不是笔试题,面试题重在表达和交流,所以答得好坏取决于你当时的表现,今天仅是简单地将答案关键点发个大家,如果你遇到了这些面试题,需要自行扩展和丰富这几个关键点。题目1:如果非要写mapreduce程序完成,则需要转化为两个maprecuce作业,第一个是wordc...转载 2018-09-29 17:22:14 · 5727 阅读 · 0 评论 -
MapReduce面试题(二)
原文作者:董西成 点击阅读原文 今天再给大家介绍几道MapReduce相关的面试题,这些题目难度中上等,大家根据自己的需要参考一下。鉴于大家对上次发的MapReduce面试题反应冷淡,这次的题目不再给出参考答案,直到主动回复想要答案的人超过50人。题目1: MapReduce中排序发生在哪几个阶段?这些排序是否可以避免,为什么?题目2:编写MapReduce作业时,如何做到在Re...转载 2018-09-29 17:31:14 · 932 阅读 · 1 评论 -
MapReduce面试题参考答案(二)
原文作者:董西成 点击阅读原文 鉴于大量读者索要MapReduce相关面试题(二)的答案,今天决定将这几道题的参考答案发给大家,这些答案是我个人按照自己的理解写的,有些题目的答案可能并不完善,欢迎大家补充。题目1: MapReduce中排序发生在哪几个阶段?这些排序是否可以避免,为什么?答:一个MapReduce作业由Map阶段和Reduce阶段两部分组成,这两个阶段会对数据排序,...转载 2018-09-29 17:34:15 · 2578 阅读 · 0 评论