zookeeper集群

zookeeper集群

什么是集群

集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比 单个计算机，比如工作站或超级计算机性能价格比要高得多。

集群的两大特点

• 可扩展性:集群的性能不限制于单一的服务实体，新的服务实体可以动态的添加到集群，从而增强集群的性能。
• 高可用性:集群当其中一个节点发生故障时，这台节点上面所运行的应用程序将在另一台节点被自动接管，消除单点故障对于增强数据可用性、可达性和可靠性是非常重要的。

集群的两大能力

• 负载均衡:负载均衡把任务比较均匀的分布到集群环境下的计算和网络资源，以提高数据吞吐量。
• 错误恢复:如果集群中的某一台服务器由于故障或者维护需要无法使用，资源和应用程序将转移到可用的集群节点上。这种由于某个节点的资源不能工作，另一个可用节点中的资源能够透明的接管并继续完成任务的过程，叫做错误恢复。

集群和分布式的区别

相同点:分布式和集群都需要多个节点服务器通过网络协同工作完成整体的任务目标。

不同点:分布式是指将业务逻辑进行拆分,即分布式的每一个节点都是实现不同的功能.而集群每个节点做的都是同一件事情。

生活中分布式可以理解为现代乐队共同演奏（每个人做不同的事情）

集群可以理解为古代乐队（每个人做相同的事情）

注：分布式和集群通常相辅相成，一个大型项目根据不同业务进行拆分成多个服务（分布式），而单个服务又可以搭建集群，从而提高可用性和可扩展性。

zookeeper集群简介

大部分分布式应用需要一个主控、协调器或者控制器来管理物理分布的子进程。目前，大多数都要开发私有的协调程序，缺乏一个通用机制，协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器，zookeeper提供通用的分布式锁服务，用以协调分布式应用。所以说zookeeper是分布式应用的协作服务。

zookeeper作为注册中心，服务器和客户端都要访问，如果有大量的并发，肯定会有等待。所以可以通过集群解决。

下面是zookeeper集群部署结构图：

了解Leader选举

Zookeeper的启动过程中leader选举是非常重要而且最复杂的一个环节。那么什么是leader选举呢？zookeeper为什么需要leader选举呢？zookeeper的leader选举的过程又是什么样子的？

首先我们来看看什么是leader选举。其实这个很好理解，leader选举就像总统选举一样，每人一票，获得多数票的人就当选为总统了。在zookeeper集群中也是一样，每个节点都会投票，如果某个节点获得超过半数以上的节点的投票，则该节点就是leader节点了。

以一个简单的例子来说明整个选举的过程.
假设有三台服务器组成的zookeeper集群,它们的id从1-3,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的.假设这些服务器依序启动,来看看会发生什么 。

1. ​ 服务器1启动,此时只有它一台服务器启动了,它发出去的报没有任何响应,所以它的选举状态一直是LOOKING状态
2. ​ 服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出.
3. ​ 服务器3启动,根据前面的理论分析,理论上服务器3应该成为服务器1,2,3中的老大,但是由于前面已经有半数以上的服务器选举了服务器2,所以它只能接收当小弟的命了.

搭建Zookeeper集群

搭建要求

由于真实的集群是需要部署在不同的服务器上的，考虑到计算机测试内存可能吃不消，我们这里搭建伪集群，把所有的服务搭建一台虚拟机上，通过端口进行区分。

个人版本如下图：

安装要求

配置网络

检查网络

 ping www.baidu.com

如果ping不通需要修改网卡配置

vi  /etc/sysconfig/network-scripts/ifcfg-ens33

找到ONBOOT=no
改为ONBOOT=yes

找到BOOTPROTO=dhcp
改成:
BOOTPROTO=static
IPADDR=192.168.188.131   //固定ip地址(根据个人) 
NETMASK=255.255.255.0
GATEWAY=192.168.188.2
DNS1=114.114.114.114

重启网卡

systemctl restart network

查看ip

ip a

安装配置java环境

上传jdk安装包

解压缩jdk安装包

tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/

进入到解压缩目录

cd /usr/local

修改解压缩目录名称

mv jdk1.8.0_131/ jdk

配置java环境属性

vi /etc/profile
//文本最后另起一行添加运行环境
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

重新加载，让环境配置生效

source /etc/profile

测试java环境配置是否成功

java -version

如果出现下面提示则成功

java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

安装配置zookeeper集群

上传zookeeper压缩包

解压缩zookeeper安装包

tar xvf zookeeper-3.4.6.tar.gz 

创建zookeeper的配置文件

cd zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg

创建zookeeper集群的安装目录

mkdir /usr/local/zookeeper-cluster

拷贝zookeeper的安装文件到集群安装目录（拷贝3份执行一个拷贝命令需要等待15-30s）

cp zookeeper-3.4.6  /usr/local/zookeeper-cluster/zookeeper-1 -r
cp zookeeper-3.4.6  /usr/local/zookeeper-cluster/zookeeper-2 -r
cp zookeeper-3.4.6  /usr/local/zookeeper-cluster/zookeeper-3 -r

修改每个zookeeper的配置（共3份）

vi /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
vi /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg
vi /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg

找到端口clientPort=2181第一个不需要修改其他依次改为：

clientPort=2182
clientPort=2183

修改数据存储目录，找到 dataDir=/tmp/zookeeper 依次改成：

dataDir=/usr/local/zookeeper-cluster/zookeeper-1/data
dataDir=/usr/local/zookeeper-cluster/zookeeper-2/data
dataDir=/usr/local/zookeeper-cluster/zookeeper-3/data

保存之后记得进入每个zookeeper目录下创建data文件夹

mkdir data

单机版本zookeeper配置完成，尝试启动各个zookeeper（3份）

cd zookeeper-1/bin
./zkServer.sh start //启动
./zkServer.sh status //查看状态

为每个zookeeper安装包，创建服务器编号（3份）

cd /usr/local/zookeeper-cluster/zookeeper-1/data
touch myid
vi myid

里面内容就是服务器编号依次保存为

1
2
3

配置每个zookeeper，开启集群(3份)

vi /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg

在最后行新增集群配置：

server.1=192.168.188.131:2881:3881
server.2=192.168.188.131:2882:3882
server.3=192.168.188.131:2883:3883

解释：server.服务器ID=服务器IP地址:服务器通信端口:服务器之间选举投票端口

重启各个zookeeper

./zkServer.sh restart

停止防火墙

systemctl stop firewalld //本次有效

systemctl disable firewalld //禁止防火墙开机自启

模拟集群异常

依次启动1号,2号,3号查看状态(根据上文选举)

./zkServer.sh status

第1个联系服务出错(因为现在只启动一台,集群必须两台以上)

Error contacting service. It is probably not running.

发现第2个服务状态为领导者(按照启动顺序,根据服务器编号大小选举1号和2号把票投给2号)

Mode: leader 

第3个为跟随者(3号编号大于2号和1号于是把票投给自己)

Mode: follower 

• 如果停掉3号服务器,观察1号和2号，发现状态并没有变化,由此得出结论，3个节点的集群，从服务器挂掉，集群正常。
• 我们再把1号服务器（从服务器）也停掉，查看2号（主服务器）的状态，发现已经停止运行了。由此得出结论，3个节点的集群，2个从服务器都挂掉，主服务器也无法运行。
• 再次把1号服务器启动起来，发现2号服务器又开始正常工作了。而且依然是领导者。
• 再把3号服务器也启动起来，把2号服务器停掉（汗~~干嘛？领导挂了？）停掉后观察1号和3号的状态，发现新的leader产生了~（3号服务器）。由此我们得出结论，当集群中的主服务器挂了，集群中的其他服务器会自动进行选举状态，然后产生新得leader。
• 再次测试，当我们把2号服务器重新启动起来,启动后，会发生什么？2号服务器会再次成为新的领导吗？我们会发现，2号服务器启动后依然是跟随者（从服务器），3号服务器依然是领导者（主服务器），没有撼动3号服务器的领导地位。(1号和3号都把票投给了3号,3号为领导者,2号也投给了3号,3号依然是领导者)哎~退休了就是退休了，说了不算了，哈哈。

Dubbo连接zookeeper集群

修改服务提供者和服务调用者的spring 配置文件（省略）

修改dubbo监控中心和zookeeper的连接地址

修改：dubbo.properties

dubbo.registry.address=zookeeper://192.168.188.131:2181?backup=192.168.188.131:2182,192.168.188.131:2183