1.4台服务器node01 node02 node03 node04
集群规划:
node01 :NN-1、ZKFC、 JNN
node02 :NN-2、 DN、 ZK 、ZKFC、 JNN
node03 : DN、 ZK、JNN
node04 :ZK 、JNN
2.配置好jdk
3.配置免密钥
node01->node01 node01->node02 node01->node03 node01->node04
node02->node01
①:① ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
① 在node02节点执行,将node01的公钥加入到其他节点的白名单中
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
4.静态网络配置 关闭防火墙
5.先配置zookeeper:需要配置node02 node03 node04
5.1先配置node02,把zookeeper放在/usr/local 下
然后进行解压,进入local目录:
tar -zxvf zookeeper-3.4.10.tar.gz/usr/local
5.2
(1) 修改conf目录下的zoo_sample.cfg的名称,改为zoo.cfg
mv zoo_sample.cfg zoo.cfg
(2) 修改zoo.cfg
① dataDir=/var/zfg/zookeeper
② server.1=node02:2888:3888
③ server.2=node03:2888:3888
④ server.3=node04:2888:3888
(3) 在dataDir目录下创建一个myid文件,在这个文件中写上当前节点ID号
先创建zfg,然后创建zoopeeker,然后创建 myid node02是写 1 对应上边的配置文件即可
(4) 将配置好的zookeeper安装包拷贝到node03 node04
进入到zookeeper的上一级目录:
执行:**scp -r zookeeper-3.4.10 node03:’pwd
’ 传给node03 node04
(5) 拷贝完毕后,在各自节点上创建myid号,ID号要依次递增
5.3启动zookeeper命令:
进入bin目录: ./zkServer.sh start 启动
//需要关闭时使用 ./zkServer.sh stop 关闭
6.安装配置hadoop 在node01 node02 node03 node04上配置
6.1在node01上安装hadoop,解压到local中
6.2配置hadoop文件
首先配置:
vim .bashrc
vim /etc/hosts
修改hdfs-site.xml配置文件
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>node01:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>node02:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>node01:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>node02:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/var/abc/hadoop/ha/jn</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
修改core-site.xml配置文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/abc/hadoop/cluster</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>node02:2181,node03:2181,node04:2181</value>
</property>
修改slaves配置文件
修改为node02 node03 node04
6.3将配置好的HDFS安装包拷贝到node02 node03 node04
local目录:
scp -r hadoop-2.6.5 node02:pwd
7.格式化NameNode(创建目录以及文件)
7.1 在node01、node02、node03分别执行如下命令
- hadoop-daemon.sh start journalnode 开启JN
7.2 随机选择一台NameNode执行(可node01):
- hdfs namenode -format 格式化
- hadoop-daemon.sh start namenode 启动
7.3 另外一台NameNode节点执行:
hdfs namenode -bootstrapStandby
7.4 node01 node02 格式化zkfc
hdfs zkfc -formatZK
7.5stop-dfs.sh 关闭进程
7.6启动zookeeper:node02 node03 node04
./zkServer.sh start 启动
7.7启动HDFS start-dfs.sh
jps可查看状态
关闭重新启动时:
先启动zookeeper:node02 node03 node04 ./zkServer.sh start 启动
再在node01 启动hdfs:启动HDFS start-dfs.sh
问题:
1.zookeeper启动不起来的原因:
1.1:防火墙没关
1.2:myid没配置好
1.3:缓存没清:zookeeper下的zookeeper_server.pid
1.4:配置文件没配置好,无法进行映射连接