面试hadoop可能被问到的问题

1、hadoop运行的原理?

2、mapreduce的原理?

3、HDFS存储的机制?

4、举一个简单的例子说明mapreduce是怎么来运行的 ?

5、面试的人给你出一些问题,让你用mapreduce来实现？

比如:现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。

6、hadoop中Combiner的作用?


成都-小白(393283308) 2011/9/30 15:05:51
再发个面试时的经典题目
现有1亿个整数均匀分布，如果要得到前1K个最大的数，求最优的算法。­
（先不考虑内存的限制，也不考虑读写外存，时间复杂度最少的算法即为最优算法）­
­
我先说下我的想法:分块，比如分1W块，每块1W个，然后分别找出每块最大值，从这最大的1W个值中找最大1K个，那么其他的9K个最大值所在的块即可扔掉，从剩下的最大的1K个值所在的块中找前1K个即可。那么原问题的规模就缩小到了1/10。­
­
问题：­
1.这种分块方法的最优时间复杂度。­
2.如何分块达到最优。比如也可分10W块，每块1000个数。则问题规模可降到原来1/100。但事实上复杂度并没降低。­
3.还有没更好更优的方法解决这个问题。­