hadoop yarn的日志级别和调度器的更改

调度器的更改

在Hadoop的etc/hadoop/yarn-site.xml的文件中加入configuration 标签内。

<property>
		<name>yarn.resourcemanager.scheduler.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fifo.FifoScheduler</value>
</property>

日志级别的更改

当我们向查看yarn的调度的日志时候 ，查看到的都是info，而绝大多数我们想看的日志都在debug中，我们需要将info改为debug。
在Hadoop的目录的sbin/yarn-daemon.sh中93行左右，我们可以看到这样一句：

export YARN_ROOT_LOGGER=${YARN_ROOT_LOGGER:-DEBUG,RFA}

将对应的级别改为你想要就可以。

idea中启用debug的方式

在Hadoop启动文件下加入一行

#!/bin/bash
#export HADOOP_ROOT_LOGGER=DEBUG,console
export YARN_RESOURCEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,address=8788,server=y,suspend=y"
./start-hadoop.sh

start-hadoop.sh 我是这样写的：

#!/bin/bash
/opt/model/hadoop-2.7.6/sbin/hadoop-daemon.sh start namenode

/opt/model/hadoop-2.7.6/sbin/hadoop-daemon.sh start datanode

/opt/model/hadoop-2.7.6/sbin/yarn-daemon.sh start resourcemanager

/opt/model/hadoop-2.7.6/sbin/yarn-daemon.sh start nodemanager

/opt/model/hadoop-2.7.6/sbin/mr-jobhistory-daemon.sh start historyserver

并在idea 配置

将断点打在自己感兴趣的地方即可。将debug-hadoop.sh启动后，控制台会显示。