hadoop HA

hadoop HA 搭建

hadoop-2.7.7 + zookeeper-3.4.12

1. zookeeper 配置

zoo.cfg

dataDir=/usr/zookeeper/data/zkData
server.1=Arvin01:2888:3888
server.2=Arvin02:2888:3888
server.3=hds:2888:3888

makdir /usr/zookeeper/data/zkData/myid
三台分别写入1，2，3

2. hadoop配置

修改 hadoop-evn.sh，yarn-evn.sh，mapred-evn.sh 中的Java路径
core-site.xml

<configuration>
        <!-- hdfs地址，ha模式中是连接到nameservice  -->
        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
        </property>
        <!-- 这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录，也可以单独指定 -->
        <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
        </property>
        <property>
        <name>ha.zookeeper.quorum</name>
        <value>Arvin01:2181,Arvin02:2181,hds:2181</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <!-- 为namenode集群定义一个services name -->
        <property>
                <name>dfs.nameservices</name>
                <value>ns1</value>
        </property>

        <!-- nameservice 包含哪些namenode，为各个namenode起名 -->
        <property>
                <name>dfs.ha.namenodes.ns1</name>
                <value>nn1,nn2</value>
        </property>

        <property>
        <!-- 名为nn1的namenode 的rpc地址和端口号，rpc用来和datanode通讯 -->
                <name>dfs.namenode.rpc-address.ns1.nn1</name>
                <value>Arvin01:8020</value>
        </property>
        <property>
        <!-- 名为nn2的namenode 的rpc地址和端口号，rpc用来和datanode通讯 -->
                <name>dfs.namenode.rpc-address.ns1.nn2</name>
                <value>Arvin02:8020</value>
        </property>
        <property>
        <!--名为nn1的namenode 的http地址和端口号，web客户端 -->
                <name>dfs.namenode.http-address.ns1.nn1</name>
                <value>Arvin01:50070</value>
        </property>
        <property>
        <!--名为nn2的namenode 的http地址和端口号，web客户端 -->
                <name>dfs.namenode.http-address.ns1.nn2</name>
                <value>Arvin02:50070</value>
        </property>
		<!-- namenode间用于共享编辑日志的journal节点列表 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://Arvin01:8485;Arvin02:8485;hds:8485/ns1</value>
        </property>

        <!-- 指定该集群出现故障时，是否自动切换到另一台namenode -->
        <property>
                <name>dfs.ha.automatic-failover.enabled.ns1</name>
                <value>true</value>
        </property>

        <!-- journalnode 上用于存放edits日志的目录 -->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/usr/hadoop/tmp/data/dfs/journalnode</value>
        </property>

        <!-- 客户端连接可用状态的NameNode所用的代理类 -->
        <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>

        <!-- 一旦需要NameNode切换，使用ssh方式进行操作 -->
        <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
        </property>

        <!-- 如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置 -->
        <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
        </property>
        <!-- 如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置 -->
        <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
        </property>

        <!-- connect-timeout超时时间 -->
        <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
        </property>
</configuration>

vim slaves
(所有节点的名称)

3. hadoop 启动
   （1）启动zookeeper
   ./usr/zookppper/bin/zkServer.sh start(所有节点)
   ./usr/zookppper/bin/zkServer.sh status(查询启动状态)
   bin/hdfs zkfc -formatZK(创建znode)

（2）三台机器分别启动Journalnode
sbin/hadoop-daemon.sh start journalnode

（3）格式化NameNode
在第一台上进行NameNode格式化
bin/hdfs namenode -format
在第一台上启动namenode
sbin/hadoop-daemon.sh start namenode
在第二台NameNode上
bin/hdfs namenode -bootstrapStandby

(4)启动hadoop
启动NameNode、DataNode、JournalNode、zkfc
sbin/start-dfs.sh
./sbin/hadoop-daemon.sh start zkfc(只监听namenode)