大数据最新Mycat核心教程--ZooKeeper集群搭建【三】(1)，百度、阿里、滴滴、新浪的面试心经总结

最新推荐文章于 2024-06-17 21:44:46 发布
最新推荐文章于 2024-06-17 21:44:46 发布
阅读量583 收藏 28
点赞数 21
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181070/article/details/138732984
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

8.3.Zookeeper设计目的

Zookeeper的设计目的是提供高性能（简单的数据模型），高可用（构建集群），顺序一致性（严格顺序访问）的分布式协调服务，保证数据一致性。

    1. 最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。
    1. 可靠性：具有简单、健壮、良好的性能，如果消息被到一台服务器接受，那么它将被所有的服务器接受。
    1. 实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。
    1. 等待无关（wait-free）：慢的或者失效的client不得干预快速的client的请求，使得每个client都能有效的等待。
    1. 原子性：更新只能成功或者失败，没有中间状态。
    1. 顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发布，a必将排在b前面。

8.4.zookeeper集群包括3种角色

zookeeper集群包括3种角色：leader（核心）、follower、observer
8.4.1.Leader角色

Leader是整个 zookeeper 集群的核心，Leader 主要有三个功能：

  • 集群异常时从快照和日志中恢复数据
  • 维持与 Learner 的心跳，接收 Learner 请求并判断 Learner 的请求消息类型
  • 根据不同的消息类型，进行不同的处理。
    Learner 的消息类型主要有：
  • PING 消息：指Learner 的心跳信息
  • REQUEST 消息：Follower 发送的提议信息，包括读写请求和同步请求
  • ACK 消息：Follower 对提议的回复，超过半数的 Follower 通过，则 commit 该提议
  • REVALIDATE 消息：用来延长 Session 有效时间

在这里插入图片描述

8.4.2.Follower 角色

在Zookeeper集群内部，Follower 主要有四个功能：

  • 向 Leader 发送请求（PING 消息、REQUEST 消息、ACK 消息、REVALIDATE 消息）；
  • 接收 Leader 消息并进行处理；
  • 接收 Client 的请求，如果为写请求，则转发给 Leader进行投票；
  • 返回 Client 结果。

Leader 的消息有：

  • PING 消息： 心跳消息；
  • PROPOSAL 消息：Leader 发起的提案，要求 Follower 投票；
  • COMMIT 消息：服务器端最新一次提案的信息；
  • UPTODATE 消息：表明同步完成；
  • REVALIDATE 消息：根据 Leader 的 REVALIDATE 结果，关闭待 revalidate 的 session 还是允许其接受消息；
  • SYNC 消息：返回 SYNC 结果到客户端，这个消息最初由客户端发起，用来强制得到最新的更新。

在这里插入图片描述

8.4.3.Observer 角色
  • Observer 是 zookeeper3.3 开始引入的一个全新的服务器角色，观察者角色。
  • 观察 zookeeper 集群中的最新状态变化并将这些状态变化同步到 observer 服务器上。
  • Observer 流程和 Follower 的唯一不同的地方就是 Observer 不会参加 Leader 发起的投票，也不会被选举为 Leader。

8.5.zookeeper集群工作流程

zookeeper集群只能有一个leader节点，由所有follower选举产生，只有leader节点才有权利发起修改数据的操作，而follower节点即使接收到了客户端发起的修改操作，也要将其转交给leader来处理，leader接收到修改数据的请求后，会向所有follower广播一条消息，让他们执行某项操作，follower 执行完后，便会向 leader 回复执行完毕。当 leader 收到半数以上的 follower 的确认消息，便会判定该操作执行完毕，然后向所有 follower 广播该操作已经生效。

8.6.zookeeper集群节点数量为奇数，建议至少3个节点

如果要搭建一个能够允许N台机器down掉的集群，那么就要部署2*N+1台服务器构成的 zookeeper 集群

8.7.ZooKeeper 集群搭建

确保关闭防火墙
机器名称IP服务器角色环境要求
host128192.168.147.128zk节点1CentOS7.9 + zk 3.8.3+JDK1.8
host129192.168.147.129zk节点2CentOS7.9 + zk 3.8.3+JDK1.8
host130192.168.147.130zk节点3CentOS7.9 + zk 3.8.3+JDK1.8
8.7.1.下载ZooKeeper安装包并解压

apache下载：https://downloads.apache.org/

ZooKeeper官网下载地址：https://zookeeper.apache.org/releases.html

cd /opt/

wget https://downloads.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gz

tar -xzvf apache-zookeeper-3.8.3-bin.tar.gz -C /usr/local/src

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

8.7.2.进入ZooKeeper解压后的配置目录（conf），复制配置文件并改名为zoo.cfg
# 更名
cd /usr/local/src
mv apache-zookeeper-3.8.3-bin zookeeper

cd /usr/local/src/zookeeper/conf

cp /usr/local/src/zookeeper/conf/zoo_sample.cfg /usr/local/src/zookeeper/conf/zoo.cfg
8.7.3.修改zookeeper数据文件存放目录
dataDir=/data/zookeeper
8.7.4.修改zoo.cfg 配置文件内容为
vi /usr/local/src/zookeeper/conf/zoo.cfg


# tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔为2ms,也就是说每隔tickTime时间就会发送一个心跳。
tickTime=2000

# initLimit这个配置项是用来配置zookeeper接受客户端
# （这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）
# 初始化连接时最长能忍受多少个心跳时间间隔数。当初始化连接时间超过该值，则表示连接失败。
# 当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。
# 对于从节点最初连接到主节点时的超时时间，单位为tick值的倍数。总的时间长度就是 10\*2000。即20ms
initLimit=10

# syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度
# 如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。
# 对于主节点与从节点进行同步操作时的超时时间，单位为tick值的倍数。总的时间长度就是5\*2000。即10ms
syncLimit=5

# dataDir就是zookeeper保存数据库数据快照的位置,默认情况下zookeeper将写数据的日志文件也保存在这个目录里
# 注意：不能使用 /tmp 路径，会被定期清除。使用专用的存储设备能够大大提高系统的性能
# dataDir=/tmp/zookeeper
dataLogDir=/opt/zookeeper/logs
# 数据文件存放目录
dataDir=/opt/zookeeper/data

# clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求
clientPort=2181

# 客户端最大链接数
maxClientCnxns=60

# zookeeper在运行过程中会生成快照数据，默认不会自动清理，会持续占用硬盘空间
# 保存3个快照，即3个日志文件
autopurge.snapRetainCount=3
# 间隔1个小时执行一次清理
autopurge.purgeInterval=1

# server.A=B:C:D
# 其中A是一个数字,表示这个是第几号服务器
# B是这个服务器的IP地址
# C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口
# D是在leader挂掉时专门用来进行选举leader选举所用的端口
# 服务器=运行主机：心跳端口：选举端口
# zk集群
# 3888后面位置不能有空格，否则Address unresolved: 192.168.147.128:3888
server.1=192.168.147.128:2888:3888
server.2=192.168.147.129:2888:3888
server.3=192.168.147.130:2888:3888


#创建相关目录，三台节点都需要
mkdir -p /opt/zookeeper/{logs,data}

# 赋予权限
chmod 777 /opt/zookeeper/{logs,data}
8.7.5.创建ServerID标识
# 在三台服务器的主配置文件 zoo.cfg 中指定的 dataDir 目录下 新建myid文件，并写入对应的server.num 中的num数字
# 如：在192.168.147.128上将server.1中1写入myid
# 如：在192.168.147.129上将server.2中2写入myid
# 数据文件存放目录 dataDir=/opt/zookeeper/data

echo 1 >/opt/zookeeper/data/myid

cat /opt/zookeeper/data/myid

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

8.7.6.添加到环境变量
vim /etc/profile


# zookeeper
export ZK\_HOME=/usr/local/src/zookeeper
export PATH=$PATH:$ZK\_HOME/bin


# 输入下面命令让设置的环境变量生效
source /etc/profile
8.7.7.ZooKeeper启动命令
zkServer.sh start
zkServer.sh status
zkServer.sh stop
zkServer.sh restart
#以打印日志方式启动
zkServer.sh start-foreground

# jps 是 Java Process Status Tool 的简称,它的作用是为了列出所有正在运行中的 Java 虚拟机进程
# 每一个 Java 程序在启动的时候都会为之创建一个Jvm 实例,通过jps可以查看这些进程的相关信息
# jps是Jdk提供的一个工具,它安装在 JAVA\_HOME/bin下

jps

在这里插入图片描述

8.7.8.ZooKeeper服务端口为2181，查看服务已经启动
ps -aux | grep zookeeper

netstat -ant | grep 2181

在这里插入图片描述

8.7.9.注意：Starting zookeeper … FAILED TO START

zookeeper版本只要 >= 3.5.5 版本启动时启动错误提示“Starting zookeeper … FAILED TO START”

问题原因：下载了错误的版本文件，Zookeeper 从3.5.5后开始拆分为两个版本，而且他们的结构还很类似。

标准版本（Apache ZooKeeper x.y.z ）下载的文件名为：`apache-zookeeper-x.y.z-bin.tar.gz``
源码版本（Apache ZooKeeper x.y.z Source Release）下载的文件名为：apache-zookeeper-x.y.z.tar.gz
在安装时下载标准版本安装使用即可正常使用

8.7.10.Address unresolved
# 查看日志


![img](https://img-blog.csdnimg.cn/img_convert/40b805fe55becda6a1174a66b244b307.png)
![img](https://img-blog.csdnimg.cn/img_convert/2d87b511d6291a1e3cf88ed60d88f6ab.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**



[外链图片转存中...(img-enjb28QO-1715439809761)]
[外链图片转存中...(img-HTRhVLqr-1715439809761)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84181070
关注
  • 21
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mycat的mycat-web安装与使用（mycat-eye和zookeeper）
周大侠的博客
04-28 6357
引言mycat 从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。   M...
Mycat高级进阶---高可用与集群
wangshuang1631的博客
03-22 1万+
MySQL高可用的几种方案首先我们看看MySQL高可用的几种方案： 对于数据实时性要求不是特别严格的应用，只需要通过廉价的pc server 来扩展Slave 的数量，将读压力分散到多台Slave 的机器上面，即可通过分散单台数据库服务器的读压力来解决数据库端的读性能瓶颈，毕竟在大多数数据库应用系统中的读压力还是要比写压力大很多。这在很大程度上解决了目前很多中小型网站的数据库压力瓶颈问题，甚至
2024年大数据最新Mycat核心教程--ZooKeeper集群搭建【三】，2024年最新学海无涯
2401_84166396的博客
05-09 320
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。ZooKeeper是一个分布式数据一致性的解决方案，分布式应用可以基于它实现发布订阅、负载均衡、命名服务、协调通知、集群管理、master选举、分布式锁和分布式队列的特性。
Mycat学习实战-Mycat的zookeeper集群模式
ygqygq2的IT博客
10-20 1万+
Mycat学习实战-Mycat的zookeeper集群模式
MyCat和Sharding-JDBC的联系与区别
★【World Of Moshow 郑锴】★
03-18 9248
总结 ---- - `sharding-jdbc`作为一个组件集成在应用内，而`mycat`则作为一个独立的应用需要单独部署。 - 从架构上看sharding-jdbc更符合分布式架构的设计，直连数据库，没有中间应用，理论性能是最高的。 - 从耦合性来看，`sharding-jdbc`需要集成在应用内，`集成到代码里`，使得开发成本相对较高；而`mycat`大致上是无损开发，不需要怎么修改代码，交给mycat去托管，分库分表等代码无需太多关注。
MyCat的zookeeper集群模式总结
weixiaohuai的博客
09-30 918
一、简介 本文将介绍ZooKeeper部署管理Mycat，ZK管理mycat的server.xml、schema.xml、rule.xml等一系列配置，ZK修改配置，同一个集群中mycat节点配置自动更新，下面就总结一下如何搭建ZK集群环境管理MyCat配置。 二、集群搭建 【a】环境准备 环境准备 虚拟机：CentOS7 jdk版本：1.8.0_161 zookeeper版本：zo...
2024年最全Mycat核心教程--ZooKeeper集群搭建【三】，2024年最新三年经验月薪50k我是怎么做到的
2401_84181501的博客
05-14 959
zookeeper集群只能有一个leader节点，由所有follower选举产生，只有leader节点才有权利发起修改数据的操作，而follower节点即使接收到了客户端发起的修改操作，也要将其转交给leader来处理，leader接收到修改数据的请求后，会向所有follower广播一条消息，让他们执行某项操作，follower 执行完后，便会向 leader 回复执行完毕。：下载了错误的版本文件，Zookeeper 从3.5.5后开始拆分为两个版本，而且他们的结构还很类似。
Java后端真实面试题大全(有详细答案)--高频/真题
热门推荐
IT利刃出鞘的博客
11-24 12万+
本文分享Java后端真实高频面试题，有详细答案，保你稳过面试。题目包括：Java基础、多线程、JVM、数据库、Redis、Shiro、Spring、SpringBoot、MyBatis、MQ、ELK、SpringCloud、设计模式等。 本博客包含从简单到困难、从高频到低频的题目，适合所有Java求职者，包括：刚入门的、三年以内经验、三到五年经验、五到十年经验等。
MyCat管理及监控——zookeeper及MyCat-web安装
weixin_44860226的博客
08-08 757
注意mycat-web要与zookeeper关联，默认是关联的。这样zookeeper安装及配置就完成了。第二部： 切换目录，创建data文件夹。第三步：修改zookeeper配置文件。起动后就可以在浏览器访问mycat了。
mycat2 install-template（mycat2-install-template-1.20.zip）
06-10
mycat2 install-template（mycat2-install-template-1.20.zip）
mycat2 install-template（mycat2-install-template-1.21.zip）
06-10
mycat2 install-template（mycat2-install-template-1.21.zip）
基于Java的Mycat-Server数据库集群设计源码
04-11
本源码提供了一个基于Java的Mycat-Server数据库集群设计。项目包含630个文件，其中包括555个Java源文件、15个XML文件、14个HTML文件、8个属性文件、8个BAT批处理文件、8个Shell脚本文件、5个PNG图片、2个Markdown文...
Mycat-server-1.6.6.1 linux版本
07-20
Mycat-server-1.6.6.1-release-20180908155252-linux.tar.gz
最新版linux Mycat-server-1.6.7.5-release-20200410174409-linux.tar.gz
04-16
最新版linux Mycat-server-1.6.7.5-release-20200410174409-linux.tar.gz
java技术专家面试指南80问【java学习+面试宝典】（六）
fengbeely的博客
06-15 955
CPU缓存从内存读数据时，是按缓存行读取的，即使只用到一个变量，也要将整行数据进行读取，这行数据量可能包含其他变量。当多个线程同时修改同一个缓存行里的不同变量时，由于同时只能有一个线程在操作，所以相比将每个变量放到不同缓存行里，性能会有所下降。多个线程同时修改了同一个缓存行上的不同变量，由于不能并发修改，所以称为“伪共享”。孤儿卷是未与任何容器关联的卷。在 Docker v。1.9 之前的版本中，删除这些孤儿卷存在很大问题。
java技术专家面试指南80问【java学习+面试宝典】（七）
fengbeely的博客
06-15 1110
索引是一种数据结构,可以帮助我们快速的进行数据的查找。在Java中，可以将一个类的定义放在另外一个类的定义内部，这就是 内部类。内部类本身就是类的一个属性，与其他属性定义方式一致。1）计算机体系结构是指那些能够被程序员看到的计算机的属性。如指令集、数据类型等；2）计算机组成是指如何实现计算机体系结构所体现出来的属性；3）以乘法指令为例，计算机是否有乘法指令，属于体系结构的问题。乘法指令是采用专用的乘法器，还是使用加法器和移位器构成，属于计算机组成的问题。1.mycat的全局id方案。
数据资产入表-数据分级分类标准-数据分类
最新发布
weixin_43198581的博客
06-17 567
2.盘点组织内部的贴源层（STG）的数据来源，一般数据来源包含外部获取（公共数据授权、爬虫归集、外部采购三类）、系统沉淀的数据等维度，按照不同的数据来源区分数据权属，一般贴源层的数据可拥有的权属为数据持有权和数据加工使用权两类；2021年9月1日，《中华人民共和国数据安全法》正式施行，明确规定“国家建立数据分类分级保护制度”，数据分级分类是数据安全管理的重要措施，它涉及到对数据资产的识别、分类和定级，是保障数据合规的前提。c)业务属性分类：选择合适的业务属性，对关键业务的数据进行细化分类。
人工智能（AI）的基础核心技术
qqk808的博客
06-12 422
人工智能（AI）的基础核心技术
mycat-server-1.6-relesase下载
11-26
mycat-server-1.6-release是一个开源的、基于MySQL的分布式数据库系统，主要用于处理大规模数据的存储和查询。要下载mycat-server-1.6-release，首先需要打开官方网站或者github等开源软件托管网站。在网站主页或者...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值