需要软件:jdk、hadoop、zookeeper
在Hadoop-hdfs完全分布式环境搭建基础上,链接?Hadoop-hdfs-完全分布式-搭建
一、zokeeper集群搭建,四台虚拟机:node1,node2,node3,node4
- 将zookeeper.tar.gz上传到node2、node3、node4
- 解压:tar -zxf zookeeper-3.4.6.tar.gz -C /opt
- 配置环境变量
- )export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.6
- )export PATH=$ PATH: $ ZOOKEEPER_PREFIX/bin
- ). /etc/profile让配置生效
- 在/opt/zookeeper-3.4.6/conf下
- )cp zoo_sample.cfg zoo.cfg,复制
- )编辑vi zoo.cfg
- 添加
- 修改:dataDir=/var/bjsxt/zookeeper/data
- 添加
- 创建:mkdir -p /var/bjsxt/zookeeper/data,该目录下放文件myid
- )echo 1 > /var/bjsxt/zookeeper/data/myid
- 将/opt/zookeeper-3.4.6通过网络拷贝到node3、node4上
- )scp -r zookeeper-3.4.6/ node3:/opt
- )scp -r zookeeper-3.4.6/ node4:/opt
- 在node3和node4上分别创建/var/bjsxt/zookeeper/data目录
- )node3:
- )mkdir -p /var/bjsxt/zookeeper/data 和 echo 2 > /var/bjsxt/zookeeper/data/myid
- )node4:
- )mkdir -p /var/bjsxt/zookeeper/data 和 echo 3 > /var/bjsxt/zookeeper/data/myid
- 操作zookeeper:
- )启动:zkServer.sh start,关闭:zkServer.sh stop
- )连接:zkCli.sh,退出连接:quit
二、hadoop配置
- 配置vi hadoop-env.sh,修改jdk运行路径:export JAVA_HOME=${JAVA_HOME}改为export JAVA_HOME=/usr/java/default
- 配置vi core-site.xml
<configuration>
<!-- 用于解析fs.defaultFS中hdfs://mycluster中的mycluster地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录: NameNode和DataNode -->
<property>
<name>hadoop.tmp.dir</name>
<value>/var/bjsxt/hadoop/