KafkaBroker

最新推荐文章于 2023-04-25 14:54:06 发布
最新推荐文章于 2023-04-25 14:54:06 发布
阅读量2.1k 收藏 4
点赞数
分类专栏： kafka 文章标签： kafka java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Loser_you/article/details/125011198
版权

一、Kafka Broker 工作流程

1.1 zookeeper中存储的kafka信息

启动zk客户端：

./bin/zkCli.sh

查看kafka信息：

ls /kafka

image-20220508154750243

1.2 kafka broker 总体工作流程

image-20220508154833658

  1. broker启动，向zk注册自己

  2. 先注册的controller为controller的leader

  3. 由选出的controller监听brokder节点的变化

  4. controller决定选举broker的leader

  5. controller将节点信息上传至zk

  6. 其他controller从zk同步broker相关信息

  7. 如果brokder的leader宕机

  8. controller监听到brokder节点的变化

  9. controller从zk获取ISR列表

  10. controller辅助选举新的broker leader

    在isr中存活为前提，按照AR中排在前面的优先

  11. controller将新的broker信息及isr列表更新至zk

1.3 broker重要参数

  • replica.lag.time.max.ms：ISR 中，如果 Follower 长时间未向 Leader 发送通 信请求或同步数据，则该 Follower 将被踢出 ISR。 该时间阈值，默认 30s。
  • auto.leader.rebalance.enable：默认是 true。 自动 Leader Partition 平衡。
  • leader.imbalance.per.broker.percentage：默认是 10%。每个 broker 允许的不平衡的 leader 的比率。如果每个 broker 超过了这个值，控制器 会触发 leader 的平衡。
  • leader.imbalance.check.interval.seconds：默认值 300 秒。检查 leader 负载是否平衡的间隔时 间。
  • log.segment.bytes：Kafka 中 log 日志是分成块存储的，此配置是指 log 日志划分成块的大小，默认值 1G。
  • log.index.interval.bytes：默认 4kb，kafka 里面每当写入了 4kb 大小的日志 (.log)，然后就往 index 文件里面记录一个索引。
  • log.retention.hours：Kafka 中数据保存的时间，默认 7 天。
  • log.retention.minutes：Kafka 中数据保存的时间，分钟级别，默认关闭。
  • log.retention.ms：Kafka 中数据保存的时间，毫秒级别，默认关闭。
  • log.retention.check.interval.ms：检查数据是否保存超时的间隔，默认是 5 分钟。
  • log.retention.bytes：默认等于-1，表示无穷大。超过设置的所有日志总大小，删除最早的 segment。
  • log.cleanup.policy：默认是 delete，表示所有数据启用删除策略; 如果设置值为 compact，表示所有数据启用压缩策 略。
  • num.io.threads：默认是 8。负责写磁盘的线程数。整个参数值要占 总核数的 50%。
  • num.replica.fetchers：副本拉取线程数，这个参数占总核数的 50%的 1/3
  • num.network.threads：默认是 3。数据传输线程数，这个参数占总核数的 50%的 2/3 。
  • log.flush.interval.messages：强制页缓存刷写到磁盘的条数，默认是 long 的最 大值，9223372036854775807。一般不建议修改， 交给系统自己管理。
  • log.flush.interval.ms：每隔多久，刷数据到磁盘，默认是 null。一般不建 议修改，交给系统自己管理。

二、节点服役与退役

2.1 节点服役

  1. 新安装一个kafka节点

    注意：brokder.id必须是集群中唯一的

  2. 启动新节点

  3. 查看zk中关于broker的节点信息

    ls /kafka/broker/ids

    此处应该会有4个节点id

  4. 创建一个json文件，里面包含需要负载均衡的topic信息

    topics-to-move.json

    {
    "topics": [
        {
            "topic": "test-topic-0"
        }
    ],
    "version": 1
}

  5. 创建一个负载均衡计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --topics-to-move-json-file topics-to-move.json --broker-list "1,2,3,4" --generate

    此命令执行后，会生成存储计划

  6. 创建副本存储计划

    创建文件increase-replication-factor.json，将存储计划拷贝到该文件中

    {
    "version": 1,
    "partitions": [
        {
            "topic": "test-topic-0",
            "partition": 0,
            "replicas": [
                3,
                1,
                2
            ],
            "log_dirs": [
                "any",
                "any",
                "any"
            ]
        },
        {
            "topic": "test-topic-0",
            "partition": 1,
            "replicas": [
                4,
                2,
                3
            ],
            "log_dirs": [
                "any",
                "any",
                "any"
            ]
        },
        {
            "topic": "test-topic-0",
            "partition": 2,
            "replicas": [
                1,
                3,
                4
            ],
            "log_dirs": [
                "any",
                "any",
                "any"
            ]
        }
    ]
}

  7. 执行副本存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --execute

  8. 验证副本存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --verify

2.2 节点退役

  1. 创建一个json文件，里面包含需要负载均衡的topic

    {
    "topics": [
        {
            "topic": "test-topic-0"
        }
    ],
    "version": 1
}

  2. 创建执行计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --topics-to-move-json-file topics-to-move.json --broker-list "1,2,3" --generate

    执行命令后，会生成副本的存储计划

  3. 创建副本存储计划

    创建文件increase-replication-factor.json，将存储计划拷贝到该文件中

  4. 执行副本存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --execute

  5. 验证副本存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --verify

  6. 退役节点

    关闭需要退役的节点

三、kafka副本

3.1 副本基本信息

  1. Kafka 副本作用: 提高数据可靠性。

  2. Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性; 太多副本会 增加磁盘存储空间，增加网络上数据传输，降低效率。

  3. Kafka 中副本分为: Leader 和 Follower。Kafka 生产者只会把数据发往 Leader， 然后 Follower 找 Leader 进行同步数据。

  4. Kafka 分区中的所有副本统称为 AR(Assigned Repllicas)。

    AR = ISR + OSR

    ISR，表示和 Leader 保持同步的 Follower 集合。如果 Follower 长时间未向 Leader 发送通信请求或同步数据，则该 Follower 将被踢出 ISR。该时间阈值由**replica.lag.time.max.ms**参数设定，默认 30s。Leader 发生故障之后，就会从 ISR 中选举新的 Leader。

    OSR，表示 Follower 与 Leader 副本同步时，延迟过多的副本。

3.2 故障处理

follower故障处理

image-20220508172424010

leader故障处理

image-20220508172449864

3.3 手动调整分区副本存储

在生成环境中，服务器的性能不尽相同，所以需要手动对副本存储进行手动干预

  1. 创建一个topic

    kafka-topics.sh --bootstrap-server kafka-21:9092 --create --partitions 4 --replication-factor 2 --topic test-topic

  2. 创建一个存储计划

    将存储计划的内容，放在文件increase-replication-factor.json中

    {
    "version": 1,
    "partitions": [
        {
            "topic": "test-topic",
            "partition": 0,
            "replicas": [
                1,
                2
            ]
        },
        {
            "topic": "test-topic",
            "partition": 1,
            "replicas": [
                1,
                2
            ]
        },
        {
            "topic": "test-topic",
            "partition": 2,
            "replicas": [
                1,
                2
            ]
        },
        {
            "topic": "test-topic",
            "partition": 3,
            "replicas": [
                1,
                2
            ]
        }
    ]
}

  3. 执行存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --execute

  4. 验证存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --verify

    kafka-topics.sh  --bootstrap-server kafka-21:9092 --describe --topic test-topic

3.4 leader partition 负载平衡

image-20220508175001434

重要参数：

  • auto.leader.rebalance.enable：默认是 true。 自动 Leader Partition 平衡。生产环 境中，leader 重选举的代价比较大，可能会带来 性能影响，建议设置为 false 关闭。
  • leader.imbalance.per.broker.percentage：默认是 10%。每个 broker 允许的不平衡的 leader 的比率。如果每个 broker 超过了这个值，控制器 会触发 leader 的平衡。
  • leader.imbalance.check.interval.seconds：默认值 300 秒。检查 leader 负载是否平衡的间隔 时间。

3.5 增加副本

针对test-topic，增加副本存储计划

  1. 创建副本存储计划

    {
    "version": 1,
    "partitions": [
        {
            "topic": "test-topic",
            "partition": 0,
            "replicas": [
                1,
                2,
                3
            ]
        },
        {
            "topic": "test-topic",
            "partition": 1,
            "replicas": [
                1,
                2,
                3
            ]
        },
        {
            "topic": "test-topic",
            "partition": 2,
            "replicas": [
                1,
                2,
                3
            ]
        },
        {
            "topic": "test-topic",
            "partition": 3,
            "replicas": [
                1,
                2,
                3
            ]
        }
    ]
}

  2. 执行副本存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --execute

四、文件存储

4.1 文件存储机制

image-20220508175714508

通过工具查询index和log信息

kafka-run-class.sh kafka.tools.DumpLogSegments --files ./00000000000000000000.index

kafka-run-class.sh kafka.tools.DumpLogSegments --files ./00000000000000000000.log

image-20220508180131625

日志存储参数配置:

  • log.segment.bytes：Kafka 中 log 日志是分成一块块存储的，此配置是指 log 日志划分 成块的大小，默认值 1G。
  • log.index.interval.bytes：默认 4kb，kafka 里面每当写入了 4kb 大小的日志(.log)，然后就 往 index 文件里面记录一个索引。 稀疏索引

4.2 文件清理策略

Kafka 中默认的日志保存时间为 7 天，可以通过调整如下参数修改保存时间。

  • log.retention.hours，最低优先级小时，默认7天。
  • log.retention.minutes，分钟。
  • log.retention.ms，最高优先级毫秒。
  • log.retention.check.interval.ms，负责设置检查周期，默认5分钟。

Kafka 中提供的日志清理策略有 delete 和 compact 两种。

  • delete 日志删除:将过期数据删除

    • log.cleanup.policy = delete 所有数据启用删除策略

    • 基于时间: 默认打开。以 segment 中所有记录中的最大时间戳作为该文件时间戳。

    • 基于大小: 默认关闭。超过设置的所有日志总大小，删除最早的 segment。

      log.retention.bytes，默认等于-1，表示无穷大。

  • compact 日志压缩

    compact日志压缩:对于相同key的不同value值，只保留最后一个版本。

    log.cleanup.policy = compact 所有数据启用压缩策略

    image-20220508180510230

    压缩后的offset可能是不连续的，比如上图中没有6，当从这些offset消费消息时，将会拿到比这个offset大 的offset对应的消息，实际上会拿到offset为7的消息，并从这个位置开始消费。

    这种策略只适合特殊场景，比如消息的key是用户ID，value是用户的资料，通过这种压缩策略，整个消息 集里就保存了所有用户最新的资料。

五、高效读写数据

  1. Kafka 本身是分布式集群，可以采用分区技术，并行度高

  2. 读数据采用稀疏索引，可以快速定位要消费的数据

  3. 顺序写磁盘

    Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端， 为顺序写。官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机写只有 100K/s。这 与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。

  4. 页缓存 + 零拷贝技术

    • 零拷贝: Kafka的数据加工处理操作交由Kafka生产者和Kafka消费者处理。Kafka Broker应用层不关心存储的数据，所以就不用

    走应用层，传输效率高。

    • PageCache页缓存: Kafka重度依赖底层操作系统提供的PageCache功能。当上层有写操作时，操作系统只是将数据写入 PageCache。当读操作发生时，先从PageCache中查找，如果找不到，再去磁盘中读取。实际上PageCache是把尽可能多的空闲内存 都当做了磁盘缓存来使用。

    image-20220508180655909

    参数信息：

    • log.flush.interval.messages：强制页缓存刷写到磁盘的条数，默认是 long 的最大值， 9223372036854775807。一般不建议修改，交给系统自己管 理。
    • log.flush.interval.ms：每隔多久，刷数据到磁盘，默认是 null。一般不建议修改， 交给系统自己管理。
coder_xiaoyou
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【kafka运维】Leader重新选举运维脚本
石臻臻的杂货铺(szzdzhp001)
11-26 5199
文章目录kafka-leader-election Leader重新选举More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 kafka-leader-election Leader重新选举 1 指定Topic指定分区用重新PREFERRED：优先副本策略 进行Leader重选举 > sh bin/kafka-leader-election.sh --bootstrap-server xxxx:9090 --topic test_create
KafkaToturial
西海 Tech
03-29 376
Brief Tutorial for Kafka Modules 原文 -> Github [转载请注明！] Author: Shen Wenrui Email: Thomas.shen3904@qq.com 1.Zookeeper: 1.1 Installation: Zookeeper下载地址:https://mirrors.tuna.tsinghua.edu.c...
【kafka】——Broker
qq_42000631的博客
09-28 4085
kafka broker
kafka broker
yao_wen_yu的博客
06-09 2734
broker工作流程、节点退役服役、kafka副本、leader选举流程、kafka文件存储、kafka分区副本分配
大数据-消息队列-Kafka(六)：Kafka Broker（集群）
u013250861的博客
04-04 349
follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉（HW之前每个节点都有，故安全），从HW开始向leader进行同步。leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件。Kafka中log日志是分成一块块存储的，此配置是指log日志划分 成块的大小，默认值1G。每隔多久，刷数据到磁盘，默认是null。
Kafka系列之broker-list,bootstrap-server以及zookeeper
热门推荐
lucasma的博客
07-14 2万+
文章目录broker-listbootstrap-servers vs zookeeper 我刚想kafka的时候，对这几个概念有时候会混淆，尤其是配置的时候经常搞不清楚它们的区别。这篇文章打算做一个梳理。 broker-list broker指的是kafka的服务端，可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。 broker-list指定集群中...
kafka-python批量发送数据的实例
09-19
在实际应用中，`KAFKABROKER`应该替换为Kafka集群的地址，`TOPICNAME`应替换为实际的主题名，`PARTNUM`应根据你的Kafka主题的实际分区数进行设置。 请注意，这个示例使用的是同步生产者`SimpleProducer`，这意味着...
Python操作分布式流处理系统Kafka
02-25
kafka有以下一些基本概念：Producer-消息生产者，就是向kafkabroker发消息的客户端。Consumer-消息消费者，是消息的使用方，负责消费Kafka服务器上的消息。Topic-主题，由用户定义并配置在Kafka服务器，用于建立...
kafka-docker:使用docker和orchestrate kafka构建kafka以及使用docker-compose构建zookeeper
04-30
Build Kafka cluster ...compose rm -f集群配置说明主要配置ZOOKEEPER_CONNECT: zookeeper0:12181,zookeeper1:12182,zookeeper2:12183/kafkaBROKER_ID: 0LISTENERS: PLAINTEXT://kafka0:19092,SSL://kafka0:29092ZOO
查看broker节点信息
qq_41635401的博客
12-15 3722
kafka查看broker节点信息可以进入zookeeper客户端中查看： 运行zkCli.sh进入客户端。 输入ls 可以看到相关的节点。 输入 ls /broker/ids 可以看到broker数
kafka基础入门（3）：kafka Broker
WHY的博客
02-02 871
本文介绍了kafka broker的工作流程，相关参数配置，副本机制，故障处理细节，文件存储机制以及一些生产经验
kafka学习笔记
阿坨的博客
09-29 842
kafka安装 环境要求：需要安装zookeeper、java1.7以上。 下载kafka 注意：到Kafka官网下载安装文件时，一定要选择和自己电脑上已经安装的scala版本号一致才可以。本笔记安装的scala版本号是2.11.16，所以，一定要选择Kafka版本号是2.11开头的。比如，到Kafka官网中，可以下载安装文件Kafka_2.11-2.2.1，前面的2.11就是支持的scala版本号，后面的2.2.1是Kafka自身的版本号。 解压安装包 sudo tar -zxvf kafka_2.11-
kafka入门使用
weixin_36279234的博客
05-25 713
略过下载及安装，值得注意的是，启动kafka之前需要先启动zookeeper，kafka依赖于zookeeper。kafka跟我们所认知的传统消息队列有所不同，它衍生的一些概念比如消费者组，topic，partition等，如果没有kafka的使用经验似乎有点难以理解。 配置server.properties broker.id=0：集群唯一id log.dirs=/usr/local/data/kafka-logs：kafka消息存放文件 log.retention.hours=168：kafka
分布式消息队列Kafka（三）- 服务节点Broker
weixin_42232931的博客
04-25 713
当broker启动的时候，都会创建KafkaController对象，但是集群中只能有一个leader对外提供服务，这些每个节点上的KafkaController会在指定的zookeeper路径下创建临时节点，只有第一个成功创建的节点KafkaController才可以成为leader，其余的都是follower。​ Topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数 据。参数设定，默认 30s。
Kafka学习笔记（2）——Kafka Broker及消费者
weixin_36040866的博客
10-05 2078
记录Kafka Broker及消费者学习笔记
Kafka系列 - 深入探究broker
阿健小站
05-30 874
1.背景 主要从控制器、consumer主题管理、kafka的副本机制三个方面对broker进行深入研究，梳理清楚broker端的一些基础流程。 2.控制器 控制器的作用？ 在 Kafka 集群中会有一个或多个 broker，其中有一个 broker 会被选举为控制器（KafkaController）。 1.管理整个集群中所有分区和副本的状态。比如：某分区leader副本出现故障，控制器为该分区选举leader副本。ISR发生变化，控制器通知所有broker更新元数据。 2.控制器负责分区的重新
如何检查Apache Kafka服务运行状态
neweastsun的专栏
10-21 9243
本文介绍了几种命令行方法：zookeeper命令、kafka的AdminClient、kcat工具以及UI方法查看kafka服务的运行状态。
docker 数据湖
最新发布
10-03
Docker数据湖是指使用Docker容器技术搭建的一个用于存储和管理大数据的... 127.0.0.1 kafkabroker 127.0.0.1 sparkmaster 127.0.0.1 zookeeper ``` 4. 编译Hudi源码和设置配置等步骤，可以根据具体需求进行操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值