Hadoop使用公平调度策略

前向hadoop提交的任务数越来越多， 任务的执行是按照FIFO的默认调度算法执行的，这样会造成一些任务，即使只有1，2个map或reduce，独占资源的现象，因此改为公平调度算法。

cdh hadoop 0.20.2+320 的hadoop lib目录已经包含公平调度算法的包。如果没有应该从$HADOOP_HOME/contrib/fairscheduler目录下，把那个jar包（我在这里是hadoop-fairscheduler-0.20.2+320.jar）复制到lib目录下。然后修改配置文件：

1。在mapred-site.xml 中将

<property>

  <name>mapred.jobtracker.taskScheduler</name>

  <value>org.apache.hadoop.mapred.JobQueueTaskScheduler</value>

  <description>The class responsible for scheduling the tasks.</description>

</property>

改为

<property>

  <name>mapred.jobtracker.taskScheduler</name>

  <value> org.apache.hadoop.mapred.FairScheduler</value>

  <description>The class responsible for scheduling the tasks.</description>

</property>

2。在mapred-site.xml 中加入：

<property>

  <name>mapred.fairscheduler.allocation.file</name>

  <value> /usr/local/hadoop/conf/pools.xml</value>

</property>

3。创建 /usr/local/hadoop/conf/pools.xml

文件内容 ：

<?xml version="1.0"?>

<allocations>

    <pool name="root">

        <minMaps>10</minMaps>

        <minReduces>5</minReduces>

    </pool>

    <user name="root">

        <maxRunningJobs>6</maxRunningJobs>

    </user>

    <userMaxJobsDefault>3</userMaxJobsDefault>

</allocations>

其中    

<user name="root">

        <maxRunningJobs>6</maxRunningJobs>

</user>

规定用户root可同时运行的job数量；

    <pool name="root">

        <minMaps>10</minMaps>

        <minReduces>5</minReduces>

    </pool>

规定这个池的最小map和reduce数量；

<userMaxJobsDefault>3</userMaxJobsDefault>

规定未指定用户可提交的最大job数量；