基本概念:
-
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
-
ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
-
ZooKeeper包含一个简单的原语集,[1]提供Java和C的接口。
-
ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在zookeeper-3.4.3\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本
-
ZooKeeper是以Fast Paxos算法为基础的,Paxos 算法存在活锁的问题,即当有多个proposer交错提交时,有可能互相排斥导致没有一个proposer能提交成功,而Fast Paxos作了一些优化,通过选举产生一个leader (领导者),只有leader才能提交proposer,具体算法可见Fast Paxos。因此,要想弄懂ZooKeeper首先得对Fast Paxos有所了解。
-
ZooKeeper的基本运转流程:
1、选举Leader。
2、同步数据。
3、选举Leader过程中算法有很多,但要达到的选举标准是一致的。
4、Leader要具有最高的执行ID,类似root权限。
5、集群中大多数的机器得到响应并接受选出的Leader
实验环境:
主机名 | ip | 角色 |
---|---|---|
server1 | 172.25.19.1 | namenode,DFSZKFailoverController(zookeeper故障切换主机,zk) |
server2 | 172.25.19.2 | JournalNode(jn) QuorumPeerMain DataNode (dn) |
server3 | 172.25.19.3 | JournalNode(jn) QuorumPeerMain DataNode (dn) |
server4 | 172.25.19.4 | JournalNode(jn) QuorumPeerMain DataNode (dn) |
server5 | 172.25.19.5 | namenode,DFSZKFailoverController(zookeeper故障切换主机,zk) |
部署步骤:
在浏览器中查看,有两个datanode
1.将之前的服务关闭,清理数据
先停掉管理进程,再停掉分布式文件系统,最后删除数据目录下的内容
(server1-server4上都执行)
server1:
[hadoop@server1 hadoop]$ sbin/stop-yarn.sh
Stopping nodemanagers
Stopping resourcemanager
[hadoop@server1 hadoop]$ sbin/stop-dfs.sh
Stopping namenodes on [server1]
Stopping datanodes
Stopping secondary namenodes [server1]
[hadoop@server1 hadoop]$ jps
16273 Jps
[hadoop@server1 hadoop]$
[hadoop@server1 hadoop]$ rm -fr /tmp/*
server2:
server3:
2.解压安装包,编辑文件,添加节点信息(必须是奇数个节点)
注意:123 只的是zk节点的id,在zk节点上的文件中id和这里要一致
2888是主从机之间的通信端口,3888做选举,选举端口
[hadoop@server2 ~]$ ls
[hadoop@server2 ~]$ tar zxf zookeeper-3.4.9.tar.gz
[hadoop@server2 ~]$ ls
[hadoop@server2 ~]$ cd zookeeper-3.4.9
[hadoop@server2 zookeeper-3.4.9]$ cd conf
[hadoop@server2 conf]$ cp zoo_sample.cfg zoo.cfg
[hadoop@server2 conf]$ vim zoo.cfg
server.1=172.25.19.2:2888:3888
server.2=172.25.19.3:2888:3888
server.3=172.25.19.4:2888:3888
3.创建一个新的虚拟机server4和server5配置nfs和hadoop
[root@server4 ~]# useradd -u 1000 hadoop
[root@server4 ~]# yum install -y nfs-utils
[root@server4 ~]# showmount -e server1
Export list for server1:
/home/hadoop *
[root@server4 ~]# mount 172.25.19.1:/home/hadoop/ /home/hadoop/
[root@server4 ~]# su - hadoop
server5同理,但是不需要做下面编辑配置文件的步骤
数据是同步的
(1)编辑worker文件
[hadoop@server4 ~]$ vim hadoop/etc/hadoop/workers
[hadoop@server4 ~]$ cat hadoop/etc/hadoop/workers
172.25.19.2
172.25.19.3
172.25.19.4
(2)修改存储节点的数量,编辑hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
4.在三个节点(server2,server3,server4)配置相同
创建/tmp/zookeeper目录,并在目录中创建一个myid文件,写入一个唯一的数字,取值范围在1-255之间,并且myid中的数字要与zoo.cfg 文件中定义的数字一致,如:server.1对应的是172.25.19.2,也就是说server2的myid文件中写入的是1,其他以此类推
[hadoop@server2 ~]$ mkdir /tmp/zookeeper
[hadoop@server2 ~]$ echo 1 > /tmp/zookeeper/myid
[hadoop@server2 ~]$ ls /tmp/zookeeper/
myid
[hadoop@server2 ~]$ cat /tmp/zookeeper/myid
1
[hadoop@server3 ~]$ mkdir /tmp/zookeeper
[hadoop@server3 ~]$ echo 2 > /tmp/zookeeper/myid
[hadoop@server4 ~]$ mkdir /tmp/zookeeper
[hadoop@server4 ~]$ echo 3 > /tmp/zookeeper/myid
5.开启服务(此处要注意命令执行时的路径必须是zookeeper-3.4.9/)
[hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@server3 ~]$ cd zookeeper-3.4.9
[hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh start
[hadoop@server4 ~]$ cd zookeeper-3.4.9
[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh start
查看状态
[hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower ##从
[hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: leader ##主
[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower ##从
6.server2连接 zookeeper,进入zookeeper命令行
[hadoop@server2 zookeeper-3.4.9]$ cd bin
[hadoop@server2 bin]$ ls
[hadoop@server2 bin]$ pwd
/home/hadoop/zookeeper-3.4.9/bin
[hadoop@server2 bin]$ ./zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /zookeeper
[quota]
[zk: localhost:2181(CONNECTED) 2] ls /zookeeper/quota
[]
[zk: localhost:2181(CONNECTED) 3] get /zookeeper/quota
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0
[zk: localhost:2181(CONNECTED) 4]
7.配置hadoop(server1上)
[hadoop@server1 ~]$ cd hadoop
[hadoop@server1 hadoop]$ cd etc/hadoop/
(1)编辑core-site.xml 文件,指定hdfs的namenode为masters
直接指定1不合理,做一个影射 http://masters
[hadoop@server1 hadoop]$ vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://masters</value> //namenode作为masters,名字是自定义的
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>172.25.19.2:2181,172.25.19.3:2181,172.25.19.4:2181</value>
</property>
</configuration>
(2)编辑hdfs-site.xml文件
这个文件中指定的名字一定要和刚才的文件中指定的映射一致
[hadoop@server1 hadoop]$ vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value> //datanode存储节点的个数
</property>
<property>
<name>dfs.nameservices</name>
<value>masters</value> //指定 hdfs的 nameservices为 masters,和 core-site.xml 文件中的设置保持一 致
</property>
<property>
<name>dfs.ha.namenodes.masters</name>
<value>h1,h2</value> // masters 下面有两个 namenode 节点,分别是 h1 和 h2 (名称可自定义)
</property>
<property>
<name>dfs.namenode.rpc-address.masters.h1</name>
<value>172.25.19.1:9000</value> // 指定 h1 节点的 rpc 通信地址
</property>
<property>
<name>dfs.namenode.http-address.masters.h1</name>
<value>172.25.19.1:9870</value> //指定 h1 节点的 http 通信地址
</property>
<property>
<name>dfs.namenode.rpc-address.masters.h2</name>
<value>172.25.19.5:9000</value> //指定 h2 节点的 rpc 通信地址
</property>
<property>
<name>dfs.namenode.http-address.masters.h2</name>
<value>172.25.19.5:9870</value>指定 h2 节点的 http通信地址
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name> //指定 NameNode 元数据在 JournalNode 上的存放位置
<value>qjournal://172.25.19.2:8485;172.25.19.3:8485;172.25.19.4:8485/masters</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/tmp/journaldata</value> //指定 JournalNode 在本地磁盘存放数据的位置
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value> //开启 NameNode 失败自动切换
</property>
<property>
<name>dfs.client.failover.proxy.provider.masters</name> // 配置失败自动切换实现方式
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name> //配置隔离机制方法,每个机制占用一行
<value>
sshfence
shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value> // 使用 sshfence 隔离机制时需要 ssh 免密码
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value> // 配置 sshfence 隔离机制超时时间
</property>
</configuration>
8.免密测试 将所有的yes都刷掉
[hadoop@server1 hadoop]$ ssh server5
[hadoop@server1 hadoop]$ ssh 172.25.19.5
[hadoop@server1 hadoop]$ ssh 172.25.19.4
[hadoop@server1 hadoop]$ ssh server4
9.在集群中启动jn
注意:一定要按照顺序启动,在启动hdfs之前必须启动jn,首次初始化jn要手动开启
server2:
[hadoop@server2 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server2 hadoop]$ jps
13188 JournalNode
13206 Jps
12846 QuorumPeerMain
server3:
[hadoop@server3 ~]$ cd hadoop
[hadoop@server3 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server3 hadoop]$ jps
12818 QuorumPeerMain
12953 JournalNode
12971 Jps
server4:
[hadoop@server4 ~]$ cd hadoop
[hadoop@server4 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server4 hadoop]$ jps
11899 Jps
11885 JournalNode
11758 QuorumPeerMain
10.srver1初始化
[hadoop@server1 hadoop]$ bin/hdfs namenode -format
(1)将/tmp/hadoop-hadoop/复制给server5的/tmp目录下,Namenode 数据默认存放在/tmp,为了让h1和h2数据一致需要把数据拷贝到 h2
[hadoop@server1 hadoop]$ scp -r /tmp/hadoop-hadoop/ 172.25.19.5:/tmp
VERSION 100% 215 0.2KB/s 00:00
seen_txid 100% 2 0.0KB/s 00:00
fsimage_0000000000000000000.md5 100% 62 0.1KB/s 00:00
fsimage_0000000000000000000 100% 391 0.4KB/s 00:00
(2)格式化 zookeeper(只需要再server1上做)
[hadoop@server1 hadoop]$ bin/hdfs zkfc -formatZK
(3)启动 hdfs 集群(只需要在server1上做)
[hadoop@server1 hadoop]$ sbin/start-dfs.sh
Starting namenodes on [server1 server5]
Starting datanodes
Starting journal nodes [172.25.19.2 172.25.19.3 172.25.19.4]
172.25.19.3: journalnode is running as process 12953. Stop it first.
172.25.19.2: journalnode is running as process 13188. Stop it first.
172.25.19.4: journalnode is running as process 11885. Stop it first.
Starting ZK Failover Controllers on NN hosts [server1 server5]
(4)查看每个节点状态
server1:
[hadoop@server1 hadoop]$ jps
17002 DFSZKFailoverController
16653 NameNode
17053 Jps
server5
[hadoop@server5 ~]$ jps
12128 Jps
12033 DFSZKFailoverController
11971 NameNode
server2:
[hadoop@server2 hadoop]$ jps
13314 DataNode
13188 JournalNode
13430 Jps
12846 QuorumPeerMain
server3:
[hadoop@server3 hadoop]$ jps
12818 QuorumPeerMain
13078 DataNode
12953 JournalNode
13195 Jps
server4:
[hadoop@server4 hadoop]$ jps
12055 DataNode
11885 JournalNode
12173 Jps
11758 QuorumPeerMain
11.浏览器中访问172.25.19.1:9870
可以看到server1的状态是active
访问172.25.19.5:9870
可以看到server5的是standby
12.测试单点故障
(1)杀死server1的namenode进程
[hadoop@server1 hadoop]$ kill -9 16653
(2)浏览器中刷新,server5接管为active,server1访问不到
(3)重新开启server1的namenode:
[hadoop@server1 hadoop]$ sbin/hadoop-daemon.sh start namenode
WARNING: Use of this script to start HDFS daemons is deprecated.
WARNING: Attempting to execute replacement "hdfs --daemon start" instead.
namenode服务起来了
[hadoop@server1 hadoop]$ jps
17002 DFSZKFailoverController
17162 NameNode
17243 Jps
(4)浏览器中查看172.25.19.1:9870
server1是standby
补充:
1.整个集群在关闭的时候正常关闭就可以,但是启动之前必须先启动zk集群
2.在部署的过程中如果集群出现问题一定要先关闭服务,然后再进行修改,修改后重启服务即可
3.所有的额配置文件中都不要出现汉字,否则会出现问题
4.server1的namenode关闭时,仍然可以上传文件,并且上传的文件在浏览器重视可以查看到的(这一步这里就不再演示)