2024年最全Mycat核心教程--ZooKeeper集群搭建【三】，2024年最新三年经验月薪50k我是怎么做到的

于 2024-05-14 04:43:54 发布
阅读量969 收藏 15
点赞数 17
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181501/article/details/138831660
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

  • PING 消息：指Learner 的心跳信息
  • REQUEST 消息：Follower 发送的提议信息，包括读写请求和同步请求
  • ACK 消息：Follower 对提议的回复，超过半数的 Follower 通过，则 commit 该提议
  • REVALIDATE 消息：用来延长 Session 有效时间

在这里插入图片描述

8.4.2.Follower 角色

在Zookeeper集群内部，Follower 主要有四个功能：

  • 向 Leader 发送请求（PING 消息、REQUEST 消息、ACK 消息、REVALIDATE 消息）；
  • 接收 Leader 消息并进行处理；
  • 接收 Client 的请求，如果为写请求，则转发给 Leader进行投票；
  • 返回 Client 结果。

Leader 的消息有：

  • PING 消息： 心跳消息；
  • PROPOSAL 消息：Leader 发起的提案，要求 Follower 投票；
  • COMMIT 消息：服务器端最新一次提案的信息；
  • UPTODATE 消息：表明同步完成；
  • REVALIDATE 消息：根据 Leader 的 REVALIDATE 结果，关闭待 revalidate 的 session 还是允许其接受消息；
  • SYNC 消息：返回 SYNC 结果到客户端，这个消息最初由客户端发起，用来强制得到最新的更新。

在这里插入图片描述

8.4.3.Observer 角色
  • Observer 是 zookeeper3.3 开始引入的一个全新的服务器角色，观察者角色。
  • 观察 zookeeper 集群中的最新状态变化并将这些状态变化同步到 observer 服务器上。
  • Observer 流程和 Follower 的唯一不同的地方就是 Observer 不会参加 Leader 发起的投票，也不会被选举为 Leader。

8.5.zookeeper集群工作流程

zookeeper集群只能有一个leader节点，由所有follower选举产生，只有leader节点才有权利发起修改数据的操作，而follower节点即使接收到了客户端发起的修改操作，也要将其转交给leader来处理，leader接收到修改数据的请求后，会向所有follower广播一条消息，让他们执行某项操作，follower 执行完后，便会向 leader 回复执行完毕。当 leader 收到半数以上的 follower 的确认消息，便会判定该操作执行完毕，然后向所有 follower 广播该操作已经生效。

8.6.zookeeper集群节点数量为奇数，建议至少3个节点

如果要搭建一个能够允许N台机器down掉的集群，那么就要部署2*N+1台服务器构成的 zookeeper 集群

8.7.ZooKeeper 集群搭建

确保关闭防火墙
机器名称IP服务器角色环境要求
host128192.168.147.128zk节点1CentOS7.9 + zk 3.8.3+JDK1.8
host129192.168.147.129zk节点2CentOS7.9 + zk 3.8.3+JDK1.8
host130192.168.147.130zk节点3CentOS7.9 + zk 3.8.3+JDK1.8
8.7.1.下载ZooKeeper安装包并解压

apache下载：https://downloads.apache.org/

ZooKeeper官网下载地址：https://zookeeper.apache.org/releases.html

cd /opt/

wget https://downloads.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gz

tar -xzvf apache-zookeeper-3.8.3-bin.tar.gz -C /usr/local/src

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

8.7.2.进入ZooKeeper解压后的配置目录（conf），复制配置文件并改名为zoo.cfg
# 更名
cd /usr/local/src
mv apache-zookeeper-3.8.3-bin zookeeper

cd /usr/local/src/zookeeper/conf

cp /usr/local/src/zookeeper/conf/zoo_sample.cfg /usr/local/src/zookeeper/conf/zoo.cfg
8.7.3.修改zookeeper数据文件存放目录
dataDir=/data/zookeeper
8.7.4.修改zoo.cfg 配置文件内容为
vi /usr/local/src/zookeeper/conf/zoo.cfg


# tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔为2ms,也就是说每隔tickTime时间就会发送一个心跳。
tickTime=2000

# initLimit这个配置项是用来配置zookeeper接受客户端
# （这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）
# 初始化连接时最长能忍受多少个心跳时间间隔数。当初始化连接时间超过该值，则表示连接失败。
# 当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。
# 对于从节点最初连接到主节点时的超时时间，单位为tick值的倍数。总的时间长度就是 10\*2000。即20ms
initLimit=10

# syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度
# 如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。
# 对于主节点与从节点进行同步操作时的超时时间，单位为tick值的倍数。总的时间长度就是5\*2000。即10ms
syncLimit=5

# dataDir就是zookeeper保存数据库数据快照的位置,默认情况下zookeeper将写数据的日志文件也保存在这个目录里
# 注意：不能使用 /tmp 路径，会被定期清除。使用专用的存储设备能够大大提高系统的性能
# dataDir=/tmp/zookeeper
dataLogDir=/opt/zookeeper/logs
# 数据文件存放目录
dataDir=/opt/zookeeper/data

# clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求
clientPort=2181

# 客户端最大链接数
maxClientCnxns=60

# zookeeper在运行过程中会生成快照数据，默认不会自动清理，会持续占用硬盘空间
# 保存3个快照，即3个日志文件
autopurge.snapRetainCount=3
# 间隔1个小时执行一次清理
autopurge.purgeInterval=1

# server.A=B:C:D
# 其中A是一个数字,表示这个是第几号服务器
# B是这个服务器的IP地址
# C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口
# D是在leader挂掉时专门用来进行选举leader选举所用的端口
# 服务器=运行主机：心跳端口：选举端口
# zk集群
# 3888后面位置不能有空格，否则Address unresolved: 192.168.147.128:3888
server.1=192.168.147.128:2888:3888
server.2=192.168.147.129:2888:3888
server.3=192.168.147.130:2888:3888


#创建相关目录，三台节点都需要
mkdir -p /opt/zookeeper/{logs,data}

# 赋予权限
chmod 777 /opt/zookeeper/{logs,data}
8.7.5.创建ServerID标识
# 在三台服务器的主配置文件 zoo.cfg 中指定的 dataDir 目录下 新建myid文件，并写入对应的server.num 中的num数字
# 如：在192.168.147.128上将server.1中1写入myid
# 如：在192.168.147.129上将server.2中2写入myid
# 数据文件存放目录 dataDir=/opt/zookeeper/data

echo 1 >/opt/zookeeper/data/myid

cat /opt/zookeeper/data/myid

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

8.7.6.添加到环境变量
vim /etc/profile


# zookeeper
export ZK\_HOME=/usr/local/src/zookeeper
export PATH=$PATH:$ZK\_HOME/bin


# 输入下面命令让设置的环境变量生效
source /etc/profile
8.7.7.ZooKeeper启动命令
zkServer.sh start
zkServer.sh status
zkServer.sh stop
zkServer.sh restart
#以打印日志方式启动
zkServer.sh start-foreground

# jps 是 Java Process Status Tool 的简称,它的作用是为了列出所有正在运行中的 Java 虚拟机进程
# 每一个 Java 程序在启动的时候都会为之创建一个Jvm 实例,通过jps可以查看这些进程的相关信息
# jps是Jdk提供的一个工具,它安装在 JAVA\_HOME/bin下

jps

在这里插入图片描述

8.7.8.ZooKeeper服务端口为2181，查看服务已经启动
ps -aux | grep zookeeper

netstat -ant | grep 2181

在这里插入图片描述

8.7.9.注意：Starting zookeeper … FAILED TO START

zookeeper版本只要 >= 3.5.5 版本启动时启动错误提示“Starting zookeeper … FAILED TO START”

问题原因：下载了错误的版本文件，Zookeeper 从3.5.5后开始拆分为两个版本，而且他们的结构还很类似。

标准版本（Apache ZooKeeper x.y.z ）下载的文件名为：`apache-zookeeper-x.y.z-bin.tar.gz``
源码版本（Apache ZooKeeper x.y.z Source Release）下载的文件名为：apache-zookeeper-x.y.z.tar.gz
在安装时下载标准版本安装使用即可正常使用

8.7.10.Address unresolved
# 查看日志
cat /usr/local/src/zookeeper/logs/zookeeper-root-server-host128.out


[root@host128 conf]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... FAILED TO START

[root@host128 logs]# cat zookeeper-root-server-host128.out 
2024-02-26 21:01:09,066 [myid:] - INFO  [main:o.a.z.s.q.QuorumPeerConfig@177] - Reading configuration from: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
2024-02-26 21:01:09,075 [myid:] - INFO  [main:o.a.z.s.q.QuorumPeerConfig@440] - clientPortAddress is 0.0.0.0:2181
2024-02-26 21:01:09,076 [myid:] - INFO  [main:o.a.z.s.q.QuorumPeerConfig@444] - secureClientPort is not set
2024-02-26 21:01:09,076 [myid:] - INFO  [main:o.a.z.s.q.QuorumPeerConfig@460] - observerMasterPort is not set
2024-02-26 21:01:09,076 [myid:] - INFO  [main:o.a.z.s.q.QuorumPeerConfig@477] - metricsProvider.className is org.apache.zookeeper.metrics.impl.DefaultMetricsProvider
2024-02-26 21:01:09,086 [myid:] - ERROR [main:o.a.z.s.q.QuorumPeerMain@99] - Invalid config, exiting abnormally
org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Address unresolved: 192.168.147.128:3888  
        at org.apache.zookeeper.server.quorum.QuorumPeer$QuorumServer.initializeWithAddressString(QuorumPeer.java:359)
        at org.apache.zookeeper.server.quorum.QuorumPeer$QuorumServer.<init>(QuorumPeer.java:280)
        at org.apache.zookeeper.server.quorum.QuorumPeer$QuorumServer.<init>(QuorumPeer.java:275)
        at org.apache.zookeeper.server.quorum.flexible.QuorumMaj.<init>(QuorumMaj.java:96)
        at org.apache.zookeeper.server.quorum.QuorumPeerConfig.createQuorumVerifier(QuorumPeerConfig.java:654)
        at org.apache.zookeeper.server.quorum.QuorumPeerConfig.createQuorumVerifier(QuorumPeerConfig.java:640)
        at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseDynamicConfig(QuorumPeerConfig.java:685)
        at org.apache.zookeeper.server.quorum.QuorumPeerConfig.setupQuorumPeerConfig(QuorumPeerConfig.java:659)
        at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:487)
        at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:194)
        at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:125)
        at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:91)
Invalid config, exiting abnormally
2024-02-26 21:01:09,086 [myid:] - INFO  [main:o.a.z.a.ZKAuditProvider@42] - ZooKeeper audit is disabled.


![img](https://img-blog.csdnimg.cn/img_convert/b84a17eb6d0dcfd81522d66c40c399cc.png)
![img](https://img-blog.csdnimg.cn/img_convert/460fd3947058348ae510f25a66c8c325.png)
![img](https://img-blog.csdnimg.cn/img_convert/b6ebf4908f783b94fba93f38d3e00b89.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

isabled.


[外链图片转存中...(img-TDqI62Iu-1715633012179)]
[外链图片转存中...(img-8drQGpCw-1715633012179)]
[外链图片转存中...(img-TsW2Xopq-1715633012180)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
2401_84181501
关注
  • 17
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mycat-web详解
09-27 1139
引言mycat 从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。
zookeeper管理mysql_Mysql系列九：使用zookeeper管理远程Mycat配置文件、Mycat监控、Mycat数据迁移（扩容）...
weixin_35959421的博客
01-19 341
一、使用zookeeper管理远程Mycat配置文件环境准备：虚拟机192.168.152.130：虚拟机192.168.152.128：本机：搭建好zookeeper的客户端工具ZooInspector ,具体参考文章Zookeeper数据查看工具ZooInspector简介1.启动ZK./zkServer.sh start2. 修改/usr/local/mycat/conf/myid.pro...
mycat2 install-template（mycat2-install-template-1.21.zip）
06-10
mycat2 install-template（mycat2-install-template-1.21.zip）
Mycat学习实战-Mycat的zookeeper集群模式
ygqygq2的IT博客
10-20 1万+
Mycat学习实战-Mycat的zookeeper集群模式
【愚公系列】2023年10月 Java教学课程 104-MySQL数据库（集群中间件Mycat2）
时光隧道
03-31 8511
数据库集群也是如此原理，我们可以将一个数据量为300G的数据库数据平均拆分成3部分，每个数据库中只存储100G数据，此时用户搜索，先经过我们中间代理层，中间代理层同时发出3个请求执行查询，比如第1台返回100条数据，耗时3秒，第2台返回200条数据，耗时3秒，第3台返回500条数据，耗时3秒，此时中间件只需要在800条记录中进行筛选，即可检索出用户要的结果，此时耗时其实一共只有3秒，因为每台机器做运算的时候，都是同时执行。下载好的运行框架解压，把mycat2的jar包放在运行环境框架目录下的lib里。
Mycat核心教程--ZooKeeper集群搭建【三】
qq_45740503的博客
02-27 903
Mycat核心教程--ZooKeeper集群搭建【三】
Mysql系列九：使用zookeeper管理远程Mycat配置文件、Mycat监控、Mycat数据迁移（扩容）...
weixin_34034670的博客
08-29 245
一、使用zookeeper管理远程Mycat配置文件 环境准备： 虚拟机192.168.152.130： zookeeper，具体参考前面文章 搭建dubbo+zookeeper+dubboadmin分布式服务框架(windows平台下) 虚拟机192.168.152.128： 安装好Mycat，具体参考前面文章Mysql系列五：数据库分库分表中间件mycat的安装和mycat配置详解 本机： 搭...
linux mycat 集群,Mycat学习实战-Mycat的zookeeper集群模式
weixin_27015733的博客
05-15 228
Mycat学习实战-Mycat的zookeeper集群模式[TOC]1. ZooKeeper简介ZooKeeper 是一个面向分布式系统的构建块。当设计一个分布式系统时，一般需要设计和开发一些协调服务：名称服务— 名称服务是将一个名称映射到与该名称有关联的一些信息的服务。电话目录是将人的名字映射到其电话号码的一个名称服务。同样，DNS 服务也是一个名称服务，它将一个域名映射到一个 IP 地址。在分...
mycat和zookeeper配合使用的转载
qq_28069577的博客
05-15 580
https://blog.51cto.com/ygqygq2/1974592
mycat2 install-template（mycat2-install-template-1.20.zip）
06-10
1. **bin** 目录：包含了MyCat的启动脚本（如`mycat-start.sh`、`mycat-stop.sh`）、日志清理脚本等。 2. **conf** 目录：存放MyCat的配置文件，如`schema.xml`（定义数据节点和表的分片策略）、`server.xml`...
最新版linux Mycat-server-1.6.7.5-release-20200410174409-linux.tar.gz
04-16
在这个最新版的 Linux Mycat-server-1.6.7.5-release-20200410174409-linux.tar.gz 压缩包中，包含了运行 Mycat 服务所需的所有组件和配置文件。 1. **Mycat 的核心功能** - **分库分表**：Mycat 可以将一个大表...
Mycat-server-1.6.6.1 linux版本
07-20
Mycat-server-1.6.6.1是其在2018年发布的一个稳定版本，该版本提供了对Linux操作系统的良好支持。通过下载并解压"Mycat-server-1.6.6.1-release-20180908155252-linux.tar.gz"压缩包，我们可以深入了解Mycat在Linux...
基于Java的Mycat-Server数据库集群设计源码
最新发布
04-11
本源码提供了一个基于Java的Mycat-Server数据库集群设计。项目包含630个文件，其中包括555个Java源文件、15个XML文件、14个HTML文件、8个属性文件、8个BAT批处理文件、8个Shell脚本文件、5个PNG图片、2个Markdown文...
快速教你搭建Mycat+Zookeeper实现主键自增
a2120454642的博客
08-18 891
四、将执行文件改名为docker-compose，加上可执行权限，然后执行脚本。第四步，修改sequence_conf.properties。1改为4，说明是使用zookeeper集群。三、准备好Zookeeper需要的文件。四、接下来开始最最重要的Mycat配置。第三步修改myid.properties。第一步，配置schema.xml文件。第二步修改server.xml文件。查看docker 容器，运行中！一、首先准备好Mycat压缩包。...
阿里Mycat 和京东ShardingSphere：分布式数据库中间件哪家强？
热门推荐
Tony.Dong的专栏
05-14 2万+
比较两个非常流行的开源分布式数据库中间件：Mycat 和 ShardingSphere（包括 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar 3 款产品）。另外还有一个增强版的Mycat：DBLE（专注于 MySQL） 。
MyCat管理及监控——zookeeper及MyCat-web安装
weixin_44860226的博客
08-08 762
注意mycat-web要与zookeeper关联，默认是关联的。这样zookeeper安装及配置就完成了。第二部： 切换目录，创建data文件夹。第三步：修改zookeeper配置文件。起动后就可以在浏览器访问mycat了。
已解决：java.net.BindException: 地址已在使用
HYSliuliuliu的博客
11-12 1万+
解决zookeeper报错：java.net.BindException: 地址已在使用，是因为端口被占用。显示Starting zookeeper ... STARTED，jps没有QuorumPeerMain进程。
mycat-server-1.6-relesase下载
11-26
mycat-server-1.6-release是一个开源的、基于MySQL的分布式数据库系统，主要用于处理大规模数据的存储和查询。要下载mycat-server-1.6-release，首先需要打开官方网站或者github等开源软件托管网站。在网站主页或者项目页面中，可以找到mycat-server-1.6-release的下载链接。点击链接进入下载页面，可以找到不同版本和不同系统平台的下载选项。根据自己的需求选择合适的版本和平台，一般会有zip压缩包或者tar.gz压缩包等格式。 点击下载按钮后，会开始下载mycat-server-1.6-release的安装包。下载完成后，解压安装包到本地目录，然后按照官方提供的安装指南进行安装和配置。安装完成后，就可以开始使用mycat-server-1.6-release来处理分布式数据库的操作了。 需要注意的是，下载和使用mycat-server-1.6-release需要遵守相关的开源协议和使用条款，尊重作者的知识产权和劳动成果。此外，在使用过程中如果遇到问题，可以参考官方文档或者在开源社区中寻求帮助。希望这篇回答能够对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值