大数据-kafka学习（三）——Kafka Broker

已于 2022-04-16 16:27:19 修改
阅读量763 收藏 7
点赞数 16
分类专栏： Kafka 文章标签： java
于 2022-04-10 21:18:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a6470831/article/details/124076172
版权

目录

一、Kafka Broker工作

1.1 、zookeeper中存储的kafka信息

1.2、broker总体工作流程

二、kafka副本

2.1、副本的基本信息

2.2、Leader选举流程

2.3、Leader 和 Follower 故障处理细节

1、Leader故障处理

2、Follower故障处理

一、Kafka Broker工作

1.1 、zookeeper中存储的kafka信息

在zookeeper的服务器端存储的Kafka相关信息：

  • /brokers/ids [0,1,2] 记录有哪些服务器
  • /brokers/topics/first/partitions/0/state    {"leader":1,"isr":[1,0,2]} 记录谁是Leader，有哪些服务器可用
  • /controller  {"brokerid":0}  辅助选举Leader

1.2、broker总体工作流程

二、kafka副本

2.1、副本的基本信息

  1. Kafka副本作用：提高数据可靠性
  2. Kafka默认副本1个，生产环境一般配置为2个，保证数据可靠性；太多副本会增加磁盘存储空间，增加网络上的传输，降低效率。
  3. Kafka中副本分为：Leader 和 Follower。Kafka生产者只会把数据发往Leader，然后Follower找Leader进行同步数据
  4. Kafka分区中的所有副本统称为AR（Assigned Repllicas）

        AR = ISR + OSR

        ISR:表示和Leader保持同步的Follower集合，如果Follower长时间未向Leader发送通信请求或者同步数据，则该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参数设定，，默认30s。Leader发生故障之后，就会从ISR中选举新的Leader。

        OSR：表示Follower与Leader副本同步时，延迟过多的副本。                 

2.2、Leader选举流程

        Kafka集群中有一个broker的Cntroller会被选举为Controller Leader，负责管理集群broker的上下线，所有topic的分区副本分配和Leader选举等工作。

        Controller的信息同步工作是依赖于Zookeeper的。

 选举规则：在ISR中存活为前提，按照AR中排在前面的优先。
        例如：AR【1，0，2】、ISR【1，0，2】，那么Leader就会按照【1，0，2】进行轮询产生 

2.3、Leader 和 Follower 故障处理细节

LEO(Log End Offset): 每个副本等最后一个offset,LEO其实就是最新的offset+1

HW(High Watermark) :所有副本中最小的LEO

1、Leader故障处理

  1.  Leader发生故障之后，会从ISR中选出一个新的Leader
  2. 为保证多个副本之间的数据一致性，其余的Follower会先将各自的log文件高于HW的部分截掉，然后从新的Leader同步数据。

        注意：这只能保证副本之间的数据一致性，并不能保证数据不丢失或者不充分

2、Follower故障处理

       

  1.  Follower发生故障后被临时踢出ISR
  2. 这个期间Leader 和Follower继续接收数据
  3. 待该Follower恢复后，Follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉，从HW开始向Leader进行同步
  4. 等该Follower的LEO大于该Partition的HW，即Follower追上Leader之后，就可以重新加入ISR了。

机智兵
关注
  • 16
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 8
    评论
专栏目录
Kafka消息队列大数据实战教程-第五篇（Broker工作原理以及节点服役）
DT辰白
12-12 1161
Kafka与zookeeper之间的关联，以及broker的工作原理，正式环境中新节点的服役退役，数据的存储结构是我们必须要掌握的重点。
大数据开发之Broker 保存消息
m0_58371965的博客
07-09 185
Broker 保存消息 1 存储方式 物理上把topic分成一个或多个patition（对应 server.properties 中的num.partitions=3配置），每个patition物理上对应一个文件夹（该文件夹存储该patition的所有消息和索引文件），如下： 2 存储策略 无论消息是否被消费，kafka都会保留所有消息。有两种策略可以删除旧数据： 1）基于时间：log.retention.hours=168 2）基于大小：log.retention.bytes=107.
Kafka的Controller Broker是什么
jmx_bigdata的博客
07-09 1385
控制器组件（Controller），是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色，但是，在运行过程中，只能有一个 Broker 成为控制器，行使其管理和协调的职责。接下来，我们将讨论Controller原理和内部运行机制。通过本文你可以了解到： 什么是Controller Broker Controller Broker是怎么被选举的 Controller Brok
Druid大数据实时处理的开源分布式系统——Broker
我是Alvin家鸡鸭鱼的小米米
10-23 2139
第三篇，关于Druid的Broker节点 Broker节点接收来自外部客户端的查询，并将这些查询转发到Realtime和Historical节点。当Broker节点收到结果，它们将合并这些结果并将它们返回给调用者。由于了解拓扑，Broker节点使用Zookeeper来确定哪些Realtime和Historical节点的存在。 Broker 主要完成如下功能： 1. Forward
徐老师大数据-Kafka
02-02
徐老师大数据-Kafka视频，[mukedaba.com]徐老师大数据-01-Kafka概述.mp4、[mukedaba.com]...04-Kafka考查在zk的组件与分布情况.mp4、[mukedaba.com]徐老师大数据-05-Kafka部署多broker集群以及考查容错性.mp4等等。
Kafka学习思维导图-Kafka原理-kafka简介
01-22
代理（Broker）:缓存代理，Kafka的核心功能 生产者（Producer）:消息和数据生产者 消费者（Consumer）:消息和数据消费者 消费管理（Topic） 分区（part）：把一个topic分成不同的分区，提高负载 leader：分区的主...
eventing-kafka-broker:备用Kafka Broker实施
04-17
Knative + Apache Kafka 如果您使用的是Knative或您喜欢该项目，请这个资料库来显示您的支持！ :star-struck: • •• 工作小组 赞助工作组 活动交付
go-kafka-example:Golang Kafka消费者和生产者示例
05-06
Golang Kafka示例 示例Golang Kafka消费者和生产者 设置 制片人 go run cmd/producer/main.go 消费者 标志： brokerList 话题 分区（默认值：0） offsetType messageCountStart（默认值：0） go run cmd/...
快速学习-Kafka API
01-07
main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。 相关参数： batch.size：只有数据积累到 batch.size 之后，sender 才会发送数据。 linger.ms：如
三, Kafka Broker
菜菜的大数据开发の路
04-16 2046
文章目录三, Kafka Broker3.1 Kafka Broker 工作流程1. Zookeeper 中存储的Kafka信息2. Kafka Broker 总体工作流程2.1 Broker 重要参数3. 生产经验--节点服役(新增Broker)和退役3.1 服役新节点3.2 退役旧结点4. Kafka副本4.1 副本的信息4.2 Leader的选举流程4.3 副本同步策略(见消费者剖析一文)5. 文件存储5.1 Kafka 文件存储机制6. Kafka为什么这么快?(或是Kafka为什么有这么高的吞吐量
kafka之 Broker 保存消息
qq_43193797的博客
01-18 1337
kafka的数据是存储在磁盘上的，重启之后数据不会丢失。 但是kafka的默认配置中，消息只会存储7天，7天以后会被删除，默认配置在config/server.properties中的log.retention.hours这一参数中。 原理： https://blog.csdn.net/u013063153/article/details/73799907 https://blog.csd...
Kafka broker配置介绍
blue_jjw的专栏
07-10 6885
转自：http://my.oschina.net/ielts0909/blog/94997 这部分内容对了解系统和提高软件性能都有很大的帮助，kafka官网上也给出了比较详细的配置详单，但是我们还是直接从代码来看broker到底有哪些配置需要我们去了解的，配置都有英文注释，所以每一部分是干什么的就不翻译了，都能看懂： 001 /**
大数据之kafka Broker的工作流程
柳小葱的博客
05-28 1126
🐳在前面的章节中，我们学习了kafka的生产者的原理和数据一致性保证，今天我们来学习Broker的原理，对以往内容感兴趣的小伙伴可以参考👇: 链接: kafka入门基础. 链接: 大数据之kafka生产者原理. 链接: 大数据之kafka生产者数据可靠性保障 🌟这一章节，主要是介绍kafka Broker的相关原理，希望大家能够了解broker是如何存储数据的，如何保证数据的存储安全，如何保证数据的有效性等。话不多说，让我们开始今日份的学习吧😄。 本文目录1. zookeeper中的kafka信息2.
Kafka知识总结之Broker原理总结
热门推荐
学习和工作总结，共勉！
03-18 1万+
这篇文章介绍Kafka的Broker工作流程，包括其中控制器的选举过程；kafka副本的leader选举以及leader和follower故障流程；简单讲述了生产环境中如何调整分区副本；kafka的文件存储机制以及日志文件的删除策略；最后了解下kafka中使用的页缓冲和零拷贝的原理。
分布式 - 消息队列Kafka：Kafka broker常见问题总结
你今天真好看呀
06-26 1803
Kafka Broker 是 Kafka 集群中的一个节点，负责接收来自生产者的消息并将其存储在 Kafka 集群中的一个或多个主题中。它还负责从 Kafka 集群中的一个或多个主题中检索消息并将其发送给消费者。
Kafka-Broker的基本模块
l_keep_run的博客
12-14 1575
Broker简介： kafka集群是由若干个broker组成，可以简单得理解为broker就是部署在服务器的kafka节点。 1.SocketServer SocketServer作为Broker对外提供Socket服务的模块，主要用于接收socket连接的请求，然后产生相应为之服务的SocketChannel对象。 内部主要包括三个模块： Acceptor主要用于监听Socket连接； Processor主要用于转发Socket的请求和响应。 Request...
java学习和项目总结
2301_79390585的博客
05-24 610
JRE：JRE是Java 运行时环境，主要包括了两个运行需要的组件：JVM 和 Java 核心类库，如果不进行java开发只想运行就可以只下载JRE。而Java语言，它的代码会先通过javac编译成字节码，再通过jvm将字节码转换成机器码（0和1）执行，即解释运行和编译运行配合使用，所以是混合型。在程序运行之前，通过编译器将源程序编译成机器码可运行的二进制，以后执行这个程序时，就不用再进行编译了。JVM：JVM是java进行编译的虚拟机，是Java 能够跨平台运行的核心。特点：执行速度慢、效率低；
Java高级面试精粹：问题与解答集锦（一）
Layla_c的博客
05-23 1347
答案多态是Java中的一个核心概念，它允许不同类的对象对同一消息做出响应，但具体的行为会根据对象的实际类型而有所不同。重载（Overloading）：当多个方法具有相同的名称，但参数列表不同时，这称为方法重载。编译器根据方法调用时传递的参数类型和数量来确定调用哪个方法。重写（Overriding）：当子类有一个与父类同名、同参数列表的方法时，子类可以提供特定的实现来覆盖父类的方法。运行时，Java虚拟机（JVM）会根据对象的实际类型调用相应的方法，这个过程称为动态绑定或晚期绑定。答案。
数据访问与Spring Data JPA
最新发布
无远弗届
05-25 467
假设我们要处理一个用户表（users），可以创建一个User@Entity // 标识这是一个实体类 public class User {@Id // 标识这是主键字段 @GeneratedValue(strategy = GenerationType . AUTO) // 主键生成策略 private Long id;// Getter 和 Setter ... }@Entity // 标识这是一个实体类 public class User {
Kafka学习笔记（6）----Kafka使用Producer发送消息
05-23
其中，bootstrap.servers 是必须设置的属性，用于指定 Kafka 集群中至少一个 Broker 的地址。key.serializer 和 value.serializer 用于指定消息的键和值的序列化器。这里我们使用的是 StringSerializer，也可以使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机智兵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值