kafka redis vs 发布订阅_Zookeeper、kafka和redis 调用关系解析

最新推荐文章于 2024-05-12 22:23:12 发布
最新推荐文章于 2024-05-12 22:23:12 发布
阅读量613 收藏 1
点赞数
文章标签： kafka redis vs 发布订阅
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42515058/article/details/112326401
版权
本文介绍了Zookeeper在Kafka中的角色，包括管理Broker、实现负载均衡和记录消息消费进度。对比了Redis与Kafka在分布式锁实现上的差异，并讨论了Kafka与Redis作为消息系统的不同特性。同时，文章提到了高并发环境下Zookeeper、Kafka和Redis集群的搭建策略。
摘要由CSDN通过智能技术生成

zookeeper和Kafka的关系

01

Kafka选择使用Zookeeper来进行Broker的管理，表现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点，节点路径为/brokers/ids

只要Broker服务器启动，都会到Zookeeper上进行注册，创建/brokers/ids/[0-N]的节点，然后写入IP，端口等信息，Broker创建的是临时节点，一旦Broker上线或者下线，对应Broker节点也就被删除了。因此可以通过zookeeper上Broker节点的变化来动态表征Broker服务器的可用性,Kafka的Topic也类似于这种方式。

02

负载均衡，生产者需要将消息合理的发送到分布式Broker上，这就面临如何进行生产者负载均衡问题。

对于生产者的负载均衡，Kafka支持传统的4层负载均衡，zookeeper同时也支持zookeeper方式来实现负载均衡。

使用zookeeper进行负载均衡，生产者通过监听zookeeper上Broker节点感知Broker，Topic的状态，变更，来实现动态负载均衡机制，这个机制Kafka已经结合zookeeper实现了。

03

记录消息分区与消费者的关系，都是通过创建修改zookeeper上相应的节点实现

04

记录消息消费进度Offset记录，都是通过创建修改zookeeper上相应的节点实现。

最低0.47元/天 解锁文章
戴亦舒
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
redis，zookeeper，kafka中间件集群安装部署手册
10-19
redis5 cluster zookeeper集群 kafka集群安装部署手册
kafka、zookeeper和redis等分布式框架的主从同步策略
yamaxifeng_132的专栏
01-29 510
在互联网行业中，分布式的框架，我们经常用的有zookeeper，kafka，redis等，怎么使用，我们大多数人都是知道的，关于怎么做到主从同步，每种工具的方式都是不同的。 Kafka的主从同步ISR kafka的主从同步，主要是针对它的broker来说。 在kafka的broker中，同一个topic可以被分配成多个Partition，每个Partition的可以有一个或者多个replic...
面试笔记系列六之redis+kafka+zookeeper基础知识点整理及常见面试题_mongodb,redis,zookeeper,kafka的基本知识区别
最新发布
2401_84615650的博客
05-12 348
穿透：缓存不存在，数据库不存在，高并发，少量key击穿：缓存不存在，数据库存在，高并发，少量key雪崩：缓存不存在，数据库存在，高并发，大量key。
kafka zookeeper redis 搭建
chen88358323的专栏
12-07 4702
REDIS  环境搭建 1.下载Redis    下载地址：http://download.redis.io/releases/redis-2.8.13.tar.gz 2.安装Redis 在linux下运行如下命令进行安装。 $ wget http://download.redis.io/releases/redis-2.8.13.tar.gz $ ta
redis,zookeeper及kafka的安装
weixin_45441740的博客
11-15 172
redis安装 #安装gcc依赖 yum install gcc #安装包下载网址 www.redis.io [root@Spark ~]# mkdir /usr/redis #创建文件夹 [root@Spark ~]# tar -zxf redis-5.0.6.tar.gz -C /usr/redis/ ##解压文档 #解压后进入解压目录进行编译 [root@Spark ~]# ...
kafka 和 redis 图形管理UI工具
03-23
史上最轻便好用的kafka ui界面客户端工具，可以在生产消息、消费消息、管理topic、管理group;可以支持管理多个kafka集群 部署简便，可以一键启动，不需要配置数据库、不需要搭建web容器 支持zookeeper ui界面化操作;...
redis zookeeper kafka集群安装手册.doc
11-03
redis zookeeper kafka集群安装手册
docker-compose docker 一次性安装打包 各个中间件 mysql zookeeper kafka redis
06-09
docker-compose docker 一次性安装打包 各个中间件 mysql zookeeper kafka redis elasticsearch elasticsearch6.8.8 dockerui 便于一次性打包各大组件，也便于后期维护和增加
微服务架构（Kafka、Redis、MySQL）
06-07
Kafka是一种高吞吐量的分布式发布订阅消息系统，它允许生产者发送消息到主题，消费者从主题消费消息。这里也在三台服务器上部署了Kafka，每个服务器上运行一个Kafka实例，通过Zookeeper集群进行元数据管理，提供消息...
centos7下Redis哨兵集群和kafka集群和zookeeper集群搭建
12-14
centos7下Redis哨兵集群和kafka集群和zookeeper集群搭建 http://blog.csdn.net/gaowenhui2008/article/details/71516901 https://cwiki.apache.org/confluence/display/KAFKA/Clients
组件zookeeper,redis,kafka,activemq,cat搭建
09-30
组件zookeeper,redis,kafka,activemq,cat搭建 调试，排错总结。cat部分未完成。mysql也未完成，后期会更新
Redis、kafka、Elasticsearch、zookeeper
moton2017的博客
12-23 614
Redis 擅长内存数据存储和缓存，Kafka 专注于分布式流和事件驱动架构，Elasticsearch 是强大的搜索和分析引擎，ZooKeeper 提供用于构建健壮的分布式系统的协调服务。Redis、Kafka、Elasticsearch 和 ZooKeeper 都是流行的开源分布式系统，它们在分布式计算领域具有不同的用途。ZooKeeper是一个分布式协调服务，提供构建分布式系统的原语，例如分布式锁、配置管理和组成员资格。分布式锁：它提供了一种可靠的方式来实现分布式锁，以实现分布式组件之间的协调。
docker学习记录 docker 脚本----redis,zookeeper,kafka(三)
kikock的博客
04-22 351
前言 一、redis 1.redis----安装脚本 2.redis配置文件修改 ---redis.conf 二、zookeeper 1.zookeeper---- docker安装脚本 2. Apache Curator与zookeeper版本兼容性问题 二、kafka 1.Kafka---- docker安装脚本
Redis/Zookeeper/Kafka
dali的博客
04-23 742
Redis： 持久化 RDB 快照，快照过程如下： 使用fork函数复制一份当前进程（父进程）的副本（子进程） 父进程继续接受和处理（采用copy-on-write策略），子进程开始将内存数据写入临时文件 子进程写入完成之后，用临时文件替换旧的RDB文件 AOF 开启AOF持久化后，每执行一条更改，将命令写入磁盘的AOF文件。 AOF重写：为了解决AOF文件冗余的问题，触发时机，当前大小超过上...
zookeeper，kafka，redis等分布式框架的主从同步策略
lz710117239的博客
05-14 3037
在互联网行业中，分布式的框架，我们经常用的有zookeeper，kafka，redis等，怎么使用，我们大多数人都是知道的，关于怎么做到主从同步，每种工具的方式都是不同的。Kafka的主从同步ISRkafka的主从同步，主要是针对它的broker来说。在kafka的broker中，同一个topic可以被分配成多个Partition，每个Partition的可以有一个或者多个replicas（备份）...
zookeeper，kafka，redis 集群环境搭建
夜月
11-05 2689
高并发之环境搭建 zookeeper集群 下载zookeeper 下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/ 选择相应镜像地址，然后选择zookeeper版本，已3.4.10为例 下载成功后，执行命令，完成解压缩 tar -xvf zookeeper-3.4.10.tar.gz zookeeper配置 Zookeeper推荐使用集群...
kafka redis vs 发布订阅_发布&订阅的消息系统 Kafka的深度解析
weixin_39747296的博客
12-21 277
背景介绍Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时数据处理为...
zookeeper课件_Zookeeper搭载kafka分布式消息发布/订阅
weixin_39637203的博客
11-24 79
一、Zookeeper简介 ZooKeeper 是一个开源的分布式协调服务，由雅虎创建，是 Google Chubby 的开源实现。 分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、 集群管理、Master 选举、配置维护，名字服务、分布式同步、分布式锁和分布式队列等功能。二、zookeeper的角色在zookeeper中有3个角色L...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值