YARN集群部署

MapReduce配置文件

在$HADOOP_HOME/etc/hadoop/文件夹内，修改

mapred-env.sh文件，添加如下环境变量

#设置JDK路径，opt为存放jdk的目录
export JAVA_HOME=/opt/jdk
#设置JobHistoryServer进程内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
#设置日志级别为INFO
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

mapred-site.xml文件，添加如下配置信息(master改为ResourceManager主机）

<!-- 设置 MapReduce 框架类型 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <!-- 设置 MapReduce 的 JobHistory 服务器地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>

  <!-- 设置 MapReduce 任务的默认队列 -->
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
  </property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>

YARN配置文件

在$HADOOP_HOME/etc/hadoop/文件夹内，修改：

yarn-env.sh文件，添加如下4行环境变量内容：

#设置JDK路径，opt为存放jdk的目录
export JAVA_HOME=/opt/jdk
#设置HADOOP_HOME路径，opt为存放hadoop的目录
export HADOOP_HOME=/opt/hadoop
#设置配置文件路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#设置日志文件路径
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

yarn-site.xml文件，配置配置一下属性(master改为ResourceManager主机）

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>

  <!-- 设置 NodeManager 的地址 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

  <!-- 设置 NodeManager 的日志目录 -->
<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local-dir</value>
</property>

  <!-- 设置 NodeManager 的日志目录 -->
<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log-dir</value>
</property>

<property>
    <name>yarn.log.server.url</name>
    <value>https://master:19888/jobhistory/logs</value>
</property>

<property>
    <name>yarn.web-proxy.address</name>
    <value>master:8089</value>
</property>

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
</property>

<property>
     <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

启动YARN集群

1.一键启动YARN集群：$HADOOP_HOME/sbin/start-yarn.sh

2.一键停止YARN集群：$HADOOP_HOME/sbin/stop-yarn.sh

3.在当前机器上单独启动或停止进程

$HADOOP_HOME/bin/yarn --daemon start | stop resourcemanager | nodemanager | proxyserver

4.历史服务器启动和停止

$HADO0P_HOME/bin/mapred --daemon start | stop historyserver