Hadoop-hdfs-ha 配置-搭建

需要软件：jdk、hadoop、zookeeper
在Hadoop-hdfs完全分布式环境搭建基础上，链接?Hadoop-hdfs-完全分布式-搭建
一、zokeeper集群搭建，四台虚拟机：node1,node2,node3,node4

1. 将zookeeper.tar.gz上传到node2、node3、node4
2. 解压：tar -zxf zookeeper-3.4.6.tar.gz -C /opt
3. 配置环境变量
   • ）export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.6
   • ）export PATH=$ PATH: $ ZOOKEEPER_PREFIX/bin
   • ）. /etc/profile让配置生效
4. 在/opt/zookeeper-3.4.6/conf下
   • ）cp zoo_sample.cfg zoo.cfg，复制
   • ）编辑vi zoo.cfg
     • 添加
       
     • 修改：dataDir=/var/bjsxt/zookeeper/data
5. 创建：mkdir -p /var/bjsxt/zookeeper/data，该目录下放文件myid
   • ）echo 1 > /var/bjsxt/zookeeper/data/myid
6. 将/opt/zookeeper-3.4.6通过网络拷贝到node3、node4上
   • ）scp -r zookeeper-3.4.6/ node3:/opt
   • ）scp -r zookeeper-3.4.6/ node4:/opt
7. 在node3和node4上分别创建/var/bjsxt/zookeeper/data目录
   • ）node3：
   • ）mkdir -p /var/bjsxt/zookeeper/data 和 echo 2 > /var/bjsxt/zookeeper/data/myid
   • ）node4：
   • ）mkdir -p /var/bjsxt/zookeeper/data 和 echo 3 > /var/bjsxt/zookeeper/data/myid
8. 操作zookeeper：
   • ）启动：zkServer.sh start，关闭：zkServer.sh stop
   • ）连接：zkCli.sh，退出连接：quit

二、hadoop配置

1. 配置vi hadoop-env.sh，修改jdk运行路径：export JAVA_HOME=${JAVA_HOME}改为export JAVA_HOME=/usr/java/default
2. 配置vi core-site.xml

<configuration>
    <!-- 用于解析fs.defaultFS中hdfs://mycluster中的mycluster地址  -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!-- 指定Hadoop运行时产生文件的存储目录: NameNode和DataNode -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/bjsxt/hadoop