按之前的一篇文章配置完成后,如下如图:
目前三个hadoop默认的调度器都经过了测试。发现如果要让hadoop运行稳定,还是需要Capacity Scheduler调度器。
另两个FIFO调度和Fair Scheduler调度还是不太适合生产环境下的。
补充:
这几天测试了上亿的数据发现,Capactity Scheduler运行太慢了。 目前正在进行Capactity Scheduler和Fair Scheduler的调度器的稳定性测试。稍后再给出测试结果。
另外后期对调度机制理解的更加深刻,将开发自己的调度器机制。