kafka 主从同步入门

最新推荐文章于 2022-11-12 20:20:19 发布
最新推荐文章于 2022-11-12 20:20:19 发布
阅读量2.5k 收藏 3
点赞数
分类专栏： kafka 文章标签： kafka ISR 主从同步 HW LEO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010711495/article/details/113686845
版权

概念

就是follwer同步leader的信息

过程

怎么同步?

1 生产者写入消息,leader更新LEO
2 leader通知follwer来取消息,follwer开始fetch数据
3 follwer同步的速度是不一样的,有的快,有的慢,以所以follwer最小的offset为准,leader会更新HW值
4 所有的follwer都跟上了leader,leader会再次更新HW
5 leader负责读写,follwer阻塞以等待新的消息

在这里插入图片描述

follwer跟不上节奏怎么办?

如果follower“落后”太多或者失效，leader将会把它从ISR中删除。

参考

kafka副本同步机制

鸭梨山大哎
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
漫游Kafka设计篇之主从同步
红磊的专栏
07-09 1万+
Kafka允许tipci的分区拥有若干副本，这个数量是可以配置的，你可以为每个topci配置一个副本数量。Kafka会自动的在个副本上备份数据，所以当一个server down掉时数据依然是可用的。 Kafka的副本功能不是必须的，你可以配置只有一个副本，这样其实就相当于只有一份数据。 创建副本的单位是topic的分区，每个分区都有一个leader和零或多个followers.所有的读写操作都
KafKa - 分区副本消息同步策略 及 消息丢失问题
小毕超博客
06-03 1817
在开始前需要了解两个概念： 和 ：其中 也叫做复制点，表示副本间同步的位置，如下图所示： 其中 就是消息数最少的那个副本的当前最大的 值为 的值，也是消费者能够消费最大的值。同样在主从复制的时候也是以该值作为分界线向后同步主节点的数据。对于，节点只保存自身的，但是节点除了保存自身的，还会保存节点的。那我们向 kafka 发送一条消息，是怎样进行同步的呢？就以上图为例，假如我们发送了 4 条消息，值 为 首先数据消息会被写入 节点， 增大自己的 值为 15 此时 值还是 11 然后 节
Kafka 3.0 源码笔记(10)-Kafka 服务端消息数据的主从同步源码分析
谈谈1974
04-08 3121
文章目录前言1. 消息数据主从同步的流程2. 消息数据主从同步源码分析2.1 元数据变动的发布2.2 变动元数据的消费应用2.3 主从副本的消息数据同步 前言 Kafka 3.0 源码笔记(9)-Kafka 服务端元数据的主从同步 中笔者在文章的末尾提到了元数据主从同步完成后，元数据的变动被 broker 模块监听处理后才能对集群产生影响，本文实际上就是以创建 Topic 功能为引子，从消息数据分区副本主从同步的场景来分析这个过程。结合 Kafka 的整个设计实现来看，创建 Topic 后，整个消息生产消费
快速掌握kafka原理以及常见面试题
码农札记
11-12 1410
简介 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 特点 可靠性：具有副本及容错机制。可扩展性：k
JAVA技术体系之分布式篇（五）——Kafka消息中间件
qsmiley10的博客
04-19 6268
1
tsdb:从kafka获取源链主从同步接时序数据库InfluxDB
05-18
数据处理data-handling连接kafka服务器从其中获取数据，处理数据之后调用代理网关influxdb-proxy将数据插入数据库。查询代理query预处理查询语句，过滤危险查询代码，调用查询InfluxDB数据库。公用模块common变量、...
kafka企业级入门
01-07
1.kafka概述 什么是kafka？ kafka是一个消息系统，消息中间件，是一个高吞吐量的分布式发布订阅消息系统。 2.kafka角色介绍 broker：kafka集群包含一个或多个服务器，服务器即broker topic：每条发布到kafka集群的...
kafka入门必备手册
07-27
kafka入门：简介、使用场景、设计原理、主要配置及集群搭建 kafka入门：简介、使用场景、设计原理、主要配置及集群搭建 kafka入门：简介、使用场景、设计原理、主要配置及集群搭建
kafka 入门
04-27
kafka 入门
kafka快速入门
04-14
内部培训用的，有史以来最详尽的kafka培训资料，kafka 快速入门
JAVA 线程实现数据库的主从同步更新
03-05
JAVA代码采用线程来实现数据库的主从同步更新
kafka数据同步（高水位&Leader Epoch）
路漫漫其修远兮
01-19 1946
相关名词 LEO:每个分区中最后一条消息的下一个位置（offset），分区的每个副本都有自己的LEO HW(high watermarker:高水位线):核心思想为所有HW之前的数据都是已经备份的，当所有节点都备份成功，Leader会更新HW。 ISR(in-sync-replicas):正在同步的副本集合，一个时间范围，例如10s内，改时间范围通过replica.lag.time.max.ms控制 副本没有发送fetch(同步数据)的请求 发送了请求但是在该时间范围内没有赶上Leader的数
kafka原理系列之（三）replication机制(复制原理)和ISR机制（同步机制）
sheep8521的博客
04-25 7670
Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。通过调节其副本相关参数， 可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供partition级别的复制, replication的数量可以在$KAFKA_HOME/config/server.properties中配置（default.replication.refactor）。 1、...
kafka学习知识点总结（三）
baiwacuan6352的博客
06-28 699
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言...
Kafka副本同步机制理解
热门推荐
李志涛的专栏
06-20 5万+
构建操作简单的分布式系统,尤其是对微妙的行为,最好的一门艺术是经常收集生产环境经验。Apache Kafka的普及在很大程度上归功于它的设计和操作简单。Apache Kafka更微妙的特性之一是它的复制协议。对于单个集群不同大小工作负载情况下如何自动调优Kafka副本的工作比较棘手。这个特别困难的挑战之一是知道如何避免follower进入和退出同步副本列表(即ISR)。从用户的角度来看,如果生产者发
zookeeper，kafka，redis等分布式框架的主从同步策略
lz710117239的博客
05-14 3030
在互联网行业中，分布式的框架，我们经常用的有zookeeper，kafka，redis等，怎么使用，我们大多数人都是知道的，关于怎么做到主从同步，每种工具的方式都是不同的。Kafka的主从同步ISRkafka的主从同步，主要是针对它的broker来说。在kafka的broker中，同一个topic可以被分配成多个Partition，每个Partition的可以有一个或者多个replicas（备份）...
kafka消息与同步机制
北方的雪之博客专栏
03-09 1万+
如上图所示：Producer根据指定的partition方法（默认round-robin、hash等），将消息发布到指定topic的partition里面；kafka集群接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费；Consumer从kafka集群pull数据，并控制获取消息的offset。 下面讨论以下Kafka如何确保消息在pr
Kafka 跨集群同步方案(转)
weixin_33966095的博客
08-14 1329
来自：http://tangzhaohui.net/524 Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具 该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。 Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群（source cluster...
Kafka集群内复制功能深入剖析
zhuguanghalo的博客
10-16 791
Kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn, Twitte等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。 0.8版本开始，kafka支持集群内复制，从而提高可用性和系统稳定性，这篇文章主要概述kafka复制的设计。 复制 有了复制后，kafka客户端将会得到如下好处： 生产者能在出...
kafka replica主从同步逻辑
最新发布
08-02
Kafka的replica主从同步逻辑是通过元数据的主从同步来实现的。元数据是指关于主题、分区和副本的信息。当在Kafka集群中创建一个主题时，controller会监听这个变化并同步元数据到从节点。这个同步过程包括将分区方案...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值