Mycat核心教程--ZooKeeper集群搭建【三】

原创 已于 2024-02-27 09:07:36 修改 · 1k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#zookeeper #分布式 #云原生

于 2024-02-27 09:00:51 首次发布

Mycat核心教程--ZooKeeper集群搭建

八、 ZooKeeper集群搭建

ZooKeeper官网下载地址：https://zookeeper.apache.org/releases.html

apache下载：https://downloads.apache.org/

在这里插入图片描述

8.1.ZooKeeper简介

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。

ZooKeeper是一个分布式数据一致性的解决方案，分布式应用可以基于它实现发布订阅、负载均衡、命名服务、协调通知、集群管理、master选举、分布式锁和分布式队列的特性。

8.2.数据复制的好处

  • 容错：一个节点出错，不至于让整个集群无法提供服务

  • 扩展性：通过增加服务器节点能提高 ZooKeeper 系统的负载能力，把负载分布到多个节点上

  • 高性能：客户端可访问本地 ZooKeeper 节点或者访问就近的节点，依次提高用户的访问速度

8.3.Zookeeper设计目的

Zookeeper的设计目的是提供高性能（简单的数据模型），高可用（构建集群），顺序一致性（严格顺序访问）的分布式协调服务，保证数据一致性。

    1. 最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。
    1. 可靠性：具有简单、健壮、良好的性能，如果消息被到一台服务器接受，那么它将被所有的服务器接受。
    1. 实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。
    1. 等待无关（wait-free）：慢的或者失效的client不得干预快速的client的请求，使得每个client都能有效的等待。
    1. 原子性：更新只能成功或者失败，没有中间状态。
    1. 顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发布，a必将排在b前面。

8.4.zookeeper集群包括3种角色

zookeeper集群包括3种角色：leader（核心）、follower、observer

8.4.1.Leader角色

Leader是整个 zookeeper 集群的核心，Leader 主要有三个功能：

  • 集群异常时从快照和日志中恢复数据
  • 维持与 Learner 的心跳，接收 Learner 请求并判断 Learner 的请求消息类型
  • 根据不同的消息类型，进行不同的处理。
    Learner 的消息类型主要有：
  • PING 消息：指Learner 的心跳信息
  • REQUEST 消息：Follower 发送的提议信息，包括读写请求和同步请求
  • ACK 消息：Follower 对提议的回复，超过半数的 Follower 通过，则 commit 该提议
  • REVALIDATE 消息：用来延长 Session 有效时间

在这里插入图片描述

8.4.2.Follower 角色

在Zookeeper集群内部，Follower 主要有四个功能：

  • 向 Leader 发送请求（PING 消息、REQUEST 消息、ACK 消息、REVALIDATE 消息）；
  • 接收 Leader 消息并进行处理；
  • 接收 Client 的请求，如果为写请求，则转发给 Leader进行投票；
  • 返回 Client 结果。

Leader 的消息有：

  • PING 消息： 心跳消息；
  • PROPOSAL 消息：Leader 发起的提案，要求 Follower 投票；
  • COMMIT 消息：服务器端最新一次提案的信息；
  • UPTODATE 消息：表明同步完成；
  • REVALIDATE 消息：根据 Leader 的 REVALIDATE 结果，关闭待 revalidate 的 session 还是允许其接受消息；
  • SYNC 消息：返回 SYNC 结果到客户端，这个消息最初由客户端发起，用来强制得到最新的更新。

在这里插入图片描述

8.4.3.Observer 角色

  • Observer 是 zookeeper3.3 开始引入的一个全新的服务器角色，观察者角色。
  • 观察 zookeeper 集群中的最新状态变化并将这些状态变化同步到 observer 服务器上。
  • Observer 流程和 Follower 的唯一不同的地方就是 Observer 不会参加 Leader 发起的投票，也不会被选举为 Leader。

8.5.zookeeper集群工作流程

zookeeper集群只能有一个leader节点，由所有follower选举产生，只有leader节点才有权利发起修改数据的操作，而follower节点即使接收到了客户端发起的修改操作，也要将其转交给leader来处理，leader接收到修改数据的请求后，会向所有follower广播一条消息，让他们执行某项操作，follower 执行完后，便会向 leader 回复执行完毕。当 leader 收到半数以上的 follower 的确认消息，便会判定该操作执行完毕，然后向所有 follower 广播该操作已经生效。

8.6.zookeeper集群节点数量为奇数，建议至少3个节点

如果要搭建一个能够允许N台机器down掉的集群，那么就要部署2*N+1台服务器构成的 zookeeper 集群

8.7.ZooKeeper 集群搭建

确保关闭防火墙
机器名称 IP 服务器角色 环境要求
host128 192.168.147.128 zk节点1 CentOS7.9 + zk 3.8.3+JDK1.8
host129 192.168.147.129 zk节点2 CentOS7.9 + zk 3.8.3+JDK1.8
host130 192.168.147.130 zk节点3 CentOS7.9 + zk 3.8.3+JDK1.8

8.7.1.下载ZooKeeper安装包并解压

apache下载：https://downloads.apache.org/

ZooKeeper官网下载地址：https://zookeeper.apache.org/releases.html

cd /opt/

wget https://downloads.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gz

tar -xzvf apache-zookeeper-3.8.3-bin.tar.gz -C /usr/local/src

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

8.7.2.进入ZooKeeper解压后的配置目录（conf），复制配置文件并改名为zoo.cfg

# 更名
cd /usr/local/src
mv apache-zookeeper-3.8.3-bin zookeeper

cd /usr/local/src/zookeeper/conf

cp /usr/local/src/zookeeper/conf/zoo_sample.cfg /usr/local/src/zookeeper/conf/zoo.cfg

8.7.3.修改zookeeper数据文件存放目录

dataDir=/data/zookeeper

8.7.4.修改zoo.cfg 配置文件内容为

vi /usr/local/src/zookeeper/conf/zoo.cfg

# tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔为2ms,也就是说每隔tickTime时间就会发送一个心跳。
tickTime=2000

# initLimit这个配置项是用来配置zookeeper接受客户端
# （这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）
# 初始化连接时最长能忍受多少个心跳时间间隔数。当初始化连接时间超过该值，则表示连接失败。
# 当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。
# 对于从节点最初连接到主节点时的超时时间，单位为tick值的倍数。总的时间长度就是 10*2000。即20ms
initLimit=10

# syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度
# 如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。
# 对于主节点与从节点进行同步操作时的超时时间，单位为tick值的倍数。总的时间长度就是5*2000。即10ms
syncLimit=5

# dataDir就是zookeeper保存数据库数据快照的位置,默认情况下zookeeper将写数据的日志文件也保存在这个目录里
# 注意：不能使用 /tmp 路径，会被定期清除。使用专用的存储设备能够大大提高系统的性能
# dataDir=/tmp/zookeeper
dataLogDir=/opt/zookeeper/logs
# 数据文件存放目录
dataDir=/opt/zookeeper/data

# clientPort这个端口就是客户端连接Zookeeper服务器的端口,
最低0.47元/天 解锁文章
搭建MyCat高可用集群
njq774327136的博客
05-12 1530
目录 前言 集群搭建 启动mycat02 前言 之前我们已经实现了mycat的主从复制，读写分离，数据分片。https://blog.csdn.net/Delicious_Life/article/details/106169808 本篇来搭建mycat集群。 集群搭建 首先返回到下面的目录 cd /haoke/mycat 我们复制mycat01里面的内容，新建一个mycat02 cp mycat01 mycat02 -R 由于我们是在1台机器上搭建集群，因此需要修...
企业级集群部署gpmall商城：MyCat+ZooKeeper+Kafka 环境部署与商城应用上线流程
最新发布
qq_51879297的博客
08-26 1057
本文记录了企业级分布式系统的搭建全流程，包含四大核心模块：1）基于MyCat构建MySQL读写分离集群，配置不同负载均衡策略实现数据库压力拆分；2）部署ZooKeeper三节点集群，提供分布式协调服务；3）在ZK集群上搭建Kafka消息队列，实现系统解耦；4）整合MyCat、Redis、ZK、Kafka等中间件，配置Nginx反向代理与负载均衡，最终完成商城应用系统上线。详细说明了各组件配置参数、集群部署步骤及验证方法，形成完整的分布式系统实施方案。
mycat的集群搭建
11-08
详细的讲述了利用中间件如何实现读写分离和分库分表，很简单的，会带着你每一步都讲解
MyCat
RongYu__的博客
09-07 1150
1.mycat的简单介绍；2.mycat的安装和测试
Mycat入门教程
热门推荐
借你一秒
02-24 4万+
mycat介绍 介绍在官方网站上有比较详细的介绍，在这里复制粘贴没什么意思，大家到官网上看 官网链接 前置条件本教程是在window环境下运行的，实际生产推荐在Linux上运行。 必备条件(自行安装,如果不会装请先打好基础在来学习)： JDK：建议是1.7及其以上。 MySQL：必须是5.5及其以上。 拓扑结构 两张表users和item，三个数据库db01,db02,db03（三个库在一个数据库
Java MyCat：（二）MyCat 中的概念
地球村
09-24 377
MyCat 中的概念1.切分1.1 纵向切分/垂直切分1.2 横向切分/水平切分2.逻辑库-Schema3.逻辑表-table4.默认端口5.数据主机 - dataHost6.数据节点 - dataNode7.分片规则 1.切分 逻辑上的切分. 在物理层面,是使用多库[database],多表[table]实现的切分 1.1 纵向切分/垂直切分 就是把原本存储于一个库的数据存储到多个库上。 由于对数据库的读写都是对同一个库进行操作，所以单库并不能解决大规模并发写入的问题。 例如，我们会建立定义数据库
mycat-definitive-guide.zip
07-06
书中会阐述如何搭建MyCat集群，实现主备切换和负载均衡，确保服务的连续性和稳定性。此外，还会涉及故障检测和恢复机制，使系统在出现问题时能快速自我修复。 在管理和监控方面，《MyCat权威指南》会介绍MyCat的...
基于Zookeeper的Mycat高可用配置与分布式架构实现：MySQL集群管理及配置同步系统设计了文档的核心内容
06-21
③理解PXC集群的搭建和Mycat集群的部署；④学习如何进行Mycat节点的扩容和配置调整。 其他说明：本文不仅提供了详细的配置步骤，还附带了大量的命令行操作示例，方便读者实际操作。同时，文章还提到了一些常见的错误...
Mycat集群搭建指南：读写分离与高可用实践
搭建Mycat集群，需要理解这些基本概念并遵循一定的步骤，包括安装配置Mycat服务器、设置数据源、定义数据分片策略、配置读写分离规则，以及通过Zookeeper等工具实现高可用性。整个过程需要细心操作，确保每个环节的...
MYCAT链接及集群搭建
冥主博客
10-31 424
1 准备(windows版操作) JDK1.7以上 TOMCAT（8.5） MYCAT（windows） server 1.6.7 mycat下载连接：http://www.mycat.io （免安装） 配置mycat环境变量： MYCAT_HOME=安装路径 PATH = $MYCAT_HOME$\bin 2 修改mycat配置信息 2.1安装路径\conf 下 serv...
mycat入门到精通教程
07-14
mycat入门到精通教程
mycat+mysql读写分离集群离线环境搭建
04-01
mycat+mysql读写分离集群离线安装手册，适用环境：linux，mycat配置了一主一从的配置，读者可根据自身需求增加slave节点。
搭建MyCat集群
我能在河边钓一整天的鱼
05-17 849
目录 前言 集群搭建 启动mycat02 前言 之前我们已经实现了mycat的主从复制，读写分离，数据分片。https://blog.csdn.net/Delicious_Life/article/details/106169808 本篇来搭建mycat集群。 集群搭建 首先返回到下面的目录 cd /haoke/mycat 我们复制mycat01里面的内容，新建一个mycat02 cp mycat01 mycat02 -R 由于我们是在1台...
keepalived+haproxy+mycat mycat集群搭建
zhouwuyuan的博客
07-20 632
一，总体架构： 241为虚拟IP，90和120为集群的IP 二，HaProxy安装 安装目录：/usr/local/haproxy 重要配置文件： haproxy.cfg 配置mycat是否存活脚本:/etc/xinetd.d/mycat_status 文本： service mycat_status { flags = REU
Mysql系列九：使用zookeeper管理远程Mycat配置文件、Mycat监控、Mycat数据迁移（扩容）...
weixin_34034670的博客
08-29 324
一、使用zookeeper管理远程Mycat配置文件 环境准备： 虚拟机192.168.152.130： zookeeper，具体参考前面文章 搭建dubbo+zookeeper+dubboadmin分布式服务框架(windows平台下) 虚拟机192.168.152.128： 安装好Mycat，具体参考前面文章Mysql系列五：数据库分库分表中间件mycat的安装和mycat配置详解 本机： 搭...
MyCat教程
L15810356216的博客
04-28 778
1、什么是MyCAT？ 简单的说，MyCAT就是： 一个彻底开源的，面向企业应用开发的“大数据库集群” 支持事务、ACID、可以替代Mysql的加强版数据库 一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群 一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 一个新颖的...
手把手带你搭建mycat高可用集群(超详细)
小米吃辣椒的博客
10-27 4792
高并发项目中我们时长会进行读写分离，多主多从的数据库架构设计，通过mycat中间件进行分库分表的操作，那么在生产环境中为了避免mycat服务的单点故障，所以mycat也需要进行高可用的集群搭建。 一、mycat高可用架构拓扑图 客户端请求keepalived对外暴露出的虚拟ip地址，两个haproxy负载均衡组件，哪一个抢占到了虚拟ip就会把请求转发到对应的haproxy中，进而再将请求转发到后续的mycat中间件，该架构模式同事确保了haproxy负载均衡组件的高可用和mycat的高可用。 当其中.
Mycat高可用集群搭建
weixin_30500289的博客
07-25 210
HaProxy+Keepalived+Mycat高可用集群配置 部署图： 集群部署图理解： 1、keepalived和haproxy必须装在同一台机器上（如192.168.46.161机器上，keepalived和haproxy都要安装），keepalived负责为该服务器抢占vip（虚拟ip），抢占到vip后，对该主机的访问可以通过原来的ip（192.168.46.16...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

良辰美景好时光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值