复习hadoop hbase 面试题

你会用MR写一个求分组topn的任务吗？

MR如何实现二次排序

就是自定义排序：key上写自定义compareTo方法，自定义partitioner，自定义groupingcompararter

Yarn

yarn中有那些资源调度策略？分别有什么特点？

FIFO
先进先出
Capacity scheduler（默认配置的调度策略）
资源整体可以在逻辑上划分成多个资源队列！
然后，每个队列都可以配置最大资源占比！（a队列：80%，b队列：20%）
然后，提交job的时候，可以指定提交到哪个队列上
加参数： --conf mapreduce.job.queuename=a

弊端，难免有空闲资源浪费
同一个队列的job，遵循的是FIFO策略
Fair scheduler
它可以配置划分队列，也可以配置队列的资源占比
但是，在job运行时，如果本队列资源不够，yarn允许他占用别的队列的资源
同一个队列内部，先后提交的job也会同时运行（通过抢占资源来实现）