hadoop分布式部署系列3:YARN

安装服务

分布式Yarn：ResourceManager、NodeManager

环境准备：

主节点：192.168.58.129(hostname:master)

子节点：192.168.58.130(slave1),192.168.58.131(slave2),192.168.58.132(slave3)

节点已经安装完成HDFS服务，参见 hadoop分布式部署系列1:HDFS

安装包：

hadoop-2.0.0-cdh4.2.1.tar.gz（使用已经安装完成后的HDFS对应的包，Yarn与HDFS集成在一个包内）

部署步骤：

1. 修改以下文件

yarn文件1：/home/liulu/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/mapred-site.xml

mv ~/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/mapred-site.xml.templat ~/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/mapred-site.xml
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

yarn文件2：/home/liulu/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/yarn-site.xml：
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>

<property>
    <name>yarn.resourcemanager.address</name>
    <value>${yarn.resourcemanager.hostname}:8032</value>
</property>

<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>${yarn.resourcemanager.hostname}:8030</value>
</property>

<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>${yarn.resourcemanager.hostname}:8031</value>
</property>

yarn文件3：/home/liulu/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/slaves:
slave1

slave2

slave3

注：上述修改文件在四个节点都修改

2. 启动yarn集群

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/sbin

./start-yarn.sh

3. 检查yarn集群

看进程（ResourceManager、NodeManager）：

[liulu@master bin]$ jps -m

4704 SecondaryNameNode

4528 NameNode

5701 ResourceManager

[liulu@slave1 app]$ jps -m

6907 NodeManager

6112 DataNode

看yarn监控页面：

http://192.168.58.129:8088/cluster

4. yarn操作

执行wordcount例子

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/bin

./hdfs dfs -mkdir /in

./hdfs dfs -put ~/testfile /in/（准备源数据）

 ./yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.2.1.jar wordcount /in /out（执行wordcount）

./hdfs dfs -ls /out（查看输出结果）

5. 关闭yarn

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/sbin

./stop-yarn.sh