Kafka Broker

最新推荐文章于 2024-03-29 18:40:25 发布
最新推荐文章于 2024-03-29 18:40:25 发布
阅读量1.4k 收藏
点赞数
分类专栏： Kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38425605/article/details/123160200
版权

文章目录

Kafka Broker

Kafka Broker工作流程

Zookeeper存储的Kafka信息

//启动Zookeeper客户端
bin/zkCli.sh

//通过ls命令可以查看Kafka相关信息
ls /kafka

在这里插入图片描述

Kafka Broker总体工作流程

在这里插入图片描述

bin/kafka-server-stop.sh
jps
bin/kafka-server-start.sh -daemon config/server.properties

Broker重要参数

生产经验-节点服役和退役

服役新节点

//修改ip地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

退役旧节点

1、执行负载均衡操作
先按照退役一台新节点，生成执行计划，然后按照服役时操作流程执行负载均衡
1.1、创建一个要均衡的主题
在这里插入图片描述
1.2、创建执行计划
在这里插入图片描述
1.3、创建副本存储计划（所有副本存储在broker0、broker1、broker2）
在这里插入图片描述
1.4、执行副本存储计划
在这里插入图片描述
1.5、验证副本存储计划
在这里插入图片描述

Kafka副本

副本基本信息

  1. Kafka副本作用：提高数据可靠性
  2. Kafka默认副本1个，生产环境一般配置2个，保证数据可靠性；太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率。
  3. Kafka中副本分为：Leader和Follower。Kafka生产者只会把数据发往Leader，然后Follower找Leader进行同步数据。
  4. Kafka分区中的所有副本统称为AR(Assigned Repllicas)
    AR = ISR + OSR
    ISR，表示和Leader保持同步的Follower集合。如果Follower长时间未向Leader发送通信请求或同步数据，则该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参数设定，默认30s。Leader发生故障之后，就会从ISR中选举新的Leader。
    OSR，表示Follower与Leader副本同步，延迟过多的副本。

Leader选举流程

Kafka集群中有一个broker的Controller会被选举为Controller Leader，负责管理集群broker的上下线，所有topic的分区副本分配和Leader选举等工作。
Controller的信息同步工作是依赖于Zookeeper的。
在这里插入图片描述
在这里插入图片描述

Leader和Follower故障处理细节

在这里插入图片描述

分区副本分配

在这里插入图片描述
在这里插入图片描述

生产经验-手动调整分区副本存储

在这里插入图片描述在这里插入图片描述在这里插入图片描述

生产经验-Leader Partition负载平衡

自动平衡

在这里插入图片描述

生产经验-增加副本因子

在这里插入图片描述

文件存储

文件存储机制

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

文件清理机制

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

高效读写数据

在这里插入图片描述
在这里插入图片描述

Smartaotao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
「Kafka」Broker篇
How many ten years in the life time?
01-16 1544
Kafka存储数据、Zookeeper 在 Kafka 中的作用、Broker 总体工作流程、节点服役和退役、Kafka 副本 Leader 选举、Leader 和 Follower 故障处理细节、文件存储、高效读写等。
Kafka配置参数详解 - 网络技术.rar_KAFKA broker_Kafka配置参数详解_kafka
09-14
每个kafka broker中配置文件server.properties必须配置的属性如下
一文搞懂 Kafka consumer 与 broker 交互机制与原理
最新发布
AutoMQ的博客
03-29 885
assign 模式下，Kafka consumer 不支持动态扩容，当生产速率突增时，无法及时加入新的消费者来提升消费的速率。为了确保 Kafka 集群的高效运行，Kafka 的客户端被设计为富客户端，例如，消费者组中的分区分配就是在客户端完成的。Consumer 从 FindCoordinator response 中解析出负责本 group 的 broker 的地址，后续 Consumer 侧的 coordinator 组件会与新 broker 通信，同步 consumer group 的状态；
kafka中文文档broker配置参数
05-01
NULL 博文链接：https://bewithme.iteye.com/blog/2395200
ns4kafka:Kafka Broker，Kafka Connect和Schema Registry之上的命名空间
04-08
ns4kafka ns4kafka遵循Kubernetes的最佳实践，为Kafka带来了新的部署模型： 命名空间隔离。 您可以在名称空间中管理自己的Kafka资源（主题，连接，ACL），而看不到其他名称空间管理的Kafka资源 所需状态。 您可以使用Yaml文件定义的资源描述符定义部署资源的外观。 申请/幂等。 您可以使用命令行工具kafkactl apply多次执行相同的部署， kafkactl apply修改的资源将被忽​​略。 服务器端验证。 验证模型允许Kafka OPS定义自定义验证程序以强制执行验证规则，例如，将Topic config min.insync.replica强制为特定值，或者将config connect.class强制为允许的Connector类的min.insync.replica列表。 最重要的是，此模型可解锁有趣的功能，使您可以拥有更强大的CI
eventing-kafka-broker:备用Kafka Broker实施
04-17
Knative + Apache Kafka 如果您使用的是Knative或您喜欢该项目，请这个资料库来显示您的支持！ :star-struck: • •• 工作小组 赞助工作组 活动交付
Kafka - Broker 详解
Trollz的博客
10-17 9270
Kafka - Broker Details
Kafka知识总结之Broker原理总结
热门推荐
学习和工作总结，共勉！
03-18 1万+
这篇文章介绍Kafka的Broker工作流程，包括其中控制器的选举过程；kafka副本的leader选举以及leader和follower故障流程；简单讲述了生产环境中如何调整分区副本；kafka的文件存储机制以及日志文件的删除策略；最后了解下kafka中使用的页缓冲和零拷贝的原理。
分布式 - 消息队列Kafka：Kafka broker常见问题总结
你今天真好看呀
06-26 1883
Kafka Broker 是 Kafka 集群中的一个节点，负责接收来自生产者的消息并将其存储在 Kafka 集群中的一个或多个主题中。它还负责从 Kafka 集群中的一个或多个主题中检索消息并将其发送给消费者。
kafka broker
qq_43192537的博客
11-25 482
kafka broker
kafka之broker
qq_38571892的博客
03-22 8746
不同broker之间的关系 Kafka使用zookeeper来维护集群成员的信息。每个broker都有一个唯一标识符，这个标识符可以在配置文件中指定，也可以自动生成。在broker启动时，它通过建立临时节点把自己的ID注册到zookeeper。kafka组件订阅broker在zookeeper上的注册路径，当有broker进入或退出集群时，这些组件就可以获得通知。 　　在broker停机、出现网络分区或长时间垃圾回收停顿时，broker会从zookeeper上断开连接，此时broker在启动时创建的临时节点
Kafka 精萃
千里之行始于足下
09-03 3704
-- Start 点击此处观看本系列配套视频。 Kafka 简介 Kafka 下载和安装 Kafka 搭建测试环境 Kafka 体系结构 Kafka只有一个broker的例子 Kafka 有多个broker的例子 Kafka 发送消息 Kafka 发送消息-- 整合 Spring Kafka 发送消息 Idempotent Kafka 发送消息 Idempotent --...
Kafka 拦截器
qq_3316359388的博客
12-18 232
Kafka 拦截器分为生产者拦截器和消费者拦截器。生产者拦截器允许你在发送消息前以及消息提交成功后植入你的拦截器逻辑；而消费者拦截器支持在消费消息前以及提交位移后编写特定逻辑。值得一提的是，这两种拦截器都支持链的方式，即你可以将一组拦截器串连成一个大的拦截器，Kafka 会按照添加顺序依次执行拦截器逻辑。 当前 Kafka 拦截器的设置方法是通过参数配置完成的。生产者和消费者两端有一个相同的参数，名字叫 interceptor.classes，它指定的是一组类的列表，每个类就是特定逻辑的拦截器实现类。拿上面
kafka broker 常规配置参数
01-07
kafka broker 常规配置 ----总结自《kafka 权威指南》 broker.id：broker 的标识符，默认为 0。可设置为任意整数，这个值在 kafka 集群里必须要是唯一的。 port：设置监听端口。如果使用 1024 以下的端口，...
Kafka学习笔记（2）——Kafka Broker及消费者
weixin_36040866的博客
10-05 2013
记录Kafka Broker及消费者学习笔记
【Kafka】Kafka 的 Broker 与 KafkaController 介绍
九师兄
03-17 1335
通过ls命令可以查看kafka相关信息Zookeeper中存储的Kafka信息。
【大数据之Kafka】七、Kafka Broker之Kafka副本
阿宁的博客
09-05 549
（7） 生产者往集群发送数据，发送数据之后Leader主动与Follower进行同步（底层通过LOG进行存储，实际为segment，分为.log文件和.index文件）再进行应答。（4）故障Follower恢复后，Follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取去掉（认为是没有验证过的），从HW开始向Leader进行同步。（3）为保证多个副本之间的数据一致性，其余的Follower会先将各自的log文件高于HW的部分截掉，然后从新的Leader同步数据。
kafka知识点
huangzhigao886的博客
02-25 916
消息队列 优势：解耦和异步调用 异步调用的场景： 用户注册（异步）：注册信息存到数据库，数据库向消息队列插入发送短信请求，MQ负责发送短信 秒杀系统（消峰）：多个用户参与秒杀的请求全部放到MQ，秒杀系统从MQ中取出前几个请求参与秒杀 消息队列的两种模式 点对点（一对一）：一个生产者只能对应一个消费者，而且消息不具有持久化，一旦消费，消费者就不会在消费已经消费过的数据了 一对多（发布/订阅模式）：具有持久化，一个生产者可以对应多个消费者 kafka 分布式消息系统 kafka的基本架构 broker相当于

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值