linux下安装高可用hdfs以及基于yarn资源管理框架

一、安装高可用hdfs

1.安装配置zookeeper（选三台服务器，node5,6,7）
1）将zookeeper拷贝至linux的/home下，并解压
tar -zxvf zookeeper-3.4.6.tar.gz
2）创建并修改zoo.cfg
        vi conf/zoo.cfg
    内容为：
    tickTime=2000
    dataDir=/opt/zookeeper
    clientPort=2181
    initLimit=5
    syncLimit=2
    server.1=node5:2888:3888      //server.1中的1为服务编码（myid的值）
    server.2=node6:2888:3888
    server.3=node7:2888:3888
3）创建zookeeper的myid（三台服务器都要创建）
        mkdir /opt/zookeeper（dataDir目录下）
        vi /opt/zookeeper/myid
        node5中值为1，node6为2，node7为3
4）将zookeeper拷至另两台机器上
    scp -r zookeeper-3.4.6/ root@node6:/home/
        scp -r zookeeper-3.4.6/ root@node7:/home/
5）启动zookeeper
        A）配置环境变量：
      export PATH=$PATH:/home/zookeeper-3.4.6/bin
    B）赋值环境变量到另两台服务器：
      scp ~/.bash_profile root@node6:~/
      scp ~/.bash_profile root@node7:~/
    C）启动（三台安装zookeeper的都启动）
  zkServer.sh start
        D）查看zookeeper的启动日志
  tail -100 zookeeper.out（一开始可能会出现错误，过段时间就好了）
2.删除配置非ha的hdfs时产生的文件，每个服务器都删
1）删除masters
rm -rf /home/hadoop-2.5.1/etc/hadoop/masters
2）删除hdfs配置时产生的数据文件
        rm -rf /opt/hadoop-2.5
3.修改配置文件（node5,6,7,8四台服务器，设置node5和node8为namenode）
1）vi /home/hadoop-2.5.1/etc/hadoop/hdfs-site.xml

<configuration> <property> <name>dfs.permissions</name> <value>false</value> </property>     <property>     <name>dfs.nameservices</name>     <value>zxl</value>     </property>     <property>      <name>dfs.ha.namenodes.zxl</name>      <value>nn1,nn2</value>     </property>     <property>     <name>dfs.namenode.rpc-address.zxl.nn1</name>     <value>node5:9000</value>     </property>     <property>     &l