KafkaBroker

最新推荐文章于 2024-08-25 23:59:28 发布
最新推荐文章于 2024-08-25 23:59:28 发布
阅读量2.3k 收藏 4
点赞数
分类专栏： kafka 文章标签： kafka java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Loser_you/article/details/125011198
版权

一、Kafka Broker 工作流程

1.1 zookeeper中存储的kafka信息

启动zk客户端：

./bin/zkCli.sh

查看kafka信息：

ls /kafka

image-20220508154750243

1.2 kafka broker 总体工作流程

image-20220508154833658

  1. broker启动，向zk注册自己

  2. 先注册的controller为controller的leader

  3. 由选出的controller监听brokder节点的变化

  4. controller决定选举broker的leader

  5. controller将节点信息上传至zk

  6. 其他controller从zk同步broker相关信息

  7. 如果brokder的leader宕机

  8. controller监听到brokder节点的变化

  9. controller从zk获取ISR列表

  10. controller辅助选举新的broker leader

    在isr中存活为前提，按照AR中排在前面的优先

  11. controller将新的broker信息及isr列表更新至zk

1.3 broker重要参数

  • replica.lag.time.max.ms：ISR 中，如果 Follower 长时间未向 Leader 发送通 信请求或同步数据，则该 Follower 将被踢出 ISR。 该时间阈值，默认 30s。
  • auto.leader.rebalance.enable：默认是 true。 自动 Leader Partition 平衡。
  • leader.imbalance.per.broker.percentage：默认是 10%。每个 broker 允许的不平衡的 leader 的比率。如果每个 broker 超过了这个值，控制器 会触发 leader 的平衡。
  • leader.imbalance.check.interval.seconds：默认值 300 秒。检查 leader 负载是否平衡的间隔时 间。
  • log.segment.bytes：Kafka 中 log 日志是分成块存储的，此配置是指 log 日志划分成块的大小，默认值 1G。
  • log.index.interval.bytes：默认 4kb，kafka 里面每当写入了 4kb 大小的日志 (.log)，然后就往 index 文件里面记录一个索引。
  • log.retention.hours：Kafka 中数据保存的时间，默认 7 天。
  • log.retention.minutes：Kafka 中数据保存的时间，分钟级别，默认关闭。
  • log.retention.ms：Kafka 中数据保存的时间，毫秒级别，默认关闭。
  • log.retention.check.interval.ms：检查数据是否保存超时的间隔，默认是 5 分钟。
  • log.retention.bytes：默认等于-1，表示无穷大。超过设置的所有日志总大小，删除最早的 segment。
  • log.cleanup.policy：默认是 delete，表示所有数据启用删除策略; 如果设置值为 compact，表示所有数据启用压缩策 略。
  • num.io.threads：默认是 8。负责写磁盘的线程数。整个参数值要占 总核数的 50%。
  • num.replica.fetchers：副本拉取线程数，这个参数占总核数的 50%的 1/3
  • num.network.threads：默认是 3。数据传输线程数，这个参数占总核数的 50%的 2/3 。
  • log.flush.interval.messages：强制页缓存刷写到磁盘的条数，默认是 long 的最 大值，9223372036854775807。一般不建议修改， 交给系统自己管理。
  • log.flush.interval.ms：每隔多久，刷数据到磁盘，默认是 null。一般不建 议修改，交给系统自己管理。

二、节点服役与退役

2.1 节点服役

  1. 新安装一个kafka节点

    注意：brokder.id必须是集群中唯一的

  2. 启动新节点

  3. 查看zk中关于broker的节点信息

    ls /kafka/broker/ids

    此处应该会有4个节点id

  4. 创建一个json文件，里面包含需要负载均衡的topic信息

    topics-to-move.json

    {
    "topics": [
        {
            "topic": "test-topic-0"
        }
    ],
    "version": 1
}

  5. 创建一个负载均衡计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --topics-to-move-json-file topics-to-move.json --broker-list "1,2,3,4" --generate

    此命令执行后，会生成存储计划

  6. 创建副本存储计划

    创建文件increase-replication-factor.json，将存储计划拷贝到该文件中

    {
    "version": 1,
    "partitions": [
        {
            "topic": "test-topic-0",
            "partition": 0,
            "replicas": [
                3,
                1,
                2
            ],
            "log_dirs": [
                "any",
                "any",
                "any"
            ]
        },
        {
            "topic": "test-topic-0",
            "partition": 1,
            "replicas": [
                4,
                2,
                3
            ],
            "log_dirs": [
                "any",
                "any",
                "any"
            ]
        },
        {
            "topic": "test-topic-0",
            "partition": 2,
            "replicas": [
                1,
                3,
                4
            ],
            "log_dirs": [
                "any",
                "any",
                "any"
            ]
        }
    ]
}

  7. 执行副本存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --execute

  8. 验证副本存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --verify

2.2 节点退役

  1. 创建一个json文件，里面包含需要负载均衡的topic

    {
    "topics": [
        {
            "topic": "test-topic-0"
        }
    ],
    "version": 1
}

  2. 创建执行计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --topics-to-move-json-file topics-to-move.json --broker-list "1,2,3" --generate

    执行命令后，会生成副本的存储计划

  3. 创建副本存储计划

    创建文件increase-replication-factor.json，将存储计划拷贝到该文件中

  4. 执行副本存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --execute

  5. 验证副本存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --verify

  6. 退役节点

    关闭需要退役的节点

三、kafka副本

3.1 副本基本信息

  1. Kafka 副本作用: 提高数据可靠性。

  2. Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性; 太多副本会 增加磁盘存储空间，增加网络上数据传输，降低效率。

  3. Kafka 中副本分为: Leader 和 Follower。Kafka 生产者只会把数据发往 Leader， 然后 Follower 找 Leader 进行同步数据。

  4. Kafka 分区中的所有副本统称为 AR(Assigned Repllicas)。

    AR = ISR + OSR

    ISR，表示和 Leader 保持同步的 Follower 集合。如果 Follower 长时间未向 Leader 发送通信请求或同步数据，则该 Follower 将被踢出 ISR。该时间阈值由**replica.lag.time.max.ms**参数设定，默认 30s。Leader 发生故障之后，就会从 ISR 中选举新的 Leader。

    OSR，表示 Follower 与 Leader 副本同步时，延迟过多的副本。

3.2 故障处理

follower故障处理

image-20220508172424010

leader故障处理

image-20220508172449864

3.3 手动调整分区副本存储

在生成环境中，服务器的性能不尽相同，所以需要手动对副本存储进行手动干预

  1. 创建一个topic

    kafka-topics.sh --bootstrap-server kafka-21:9092 --create --partitions 4 --replication-factor 2 --topic test-topic

  2. 创建一个存储计划

    将存储计划的内容，放在文件increase-replication-factor.json中

    {
    "version": 1,
    "partitions": [
        {
            "topic": "test-topic",
            "partition": 0,
            "replicas": [
                1,
                2
            ]
        },
        {
            "topic": "test-topic",
            "partition": 1,
            "replicas": [
                1,
                2
            ]
        },
        {
            "topic": "test-topic",
            "partition": 2,
            "replicas": [
                1,
                2
            ]
        },
        {
            "topic": "test-topic",
            "partition": 3,
            "replicas": [
                1,
                2
            ]
        }
    ]
}

  3. 执行存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --execute

  4. 验证存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --verify

    kafka-topics.sh  --bootstrap-server kafka-21:9092 --describe --topic test-topic

3.4 leader partition 负载平衡

image-20220508175001434

重要参数：

  • auto.leader.rebalance.enable：默认是 true。 自动 Leader Partition 平衡。生产环 境中，leader 重选举的代价比较大，可能会带来 性能影响，建议设置为 false 关闭。
  • leader.imbalance.per.broker.percentage：默认是 10%。每个 broker 允许的不平衡的 leader 的比率。如果每个 broker 超过了这个值，控制器 会触发 leader 的平衡。
  • leader.imbalance.check.interval.seconds：默认值 300 秒。检查 leader 负载是否平衡的间隔 时间。

3.5 增加副本

针对test-topic，增加副本存储计划

  1. 创建副本存储计划

    {
    "version": 1,
    "partitions": [
        {
            "topic": "test-topic",
            "partition": 0,
            "replicas": [
                1,
                2,
                3
            ]
        },
        {
            "topic": "test-topic",
            "partition": 1,
            "replicas": [
                1,
                2,
                3
            ]
        },
        {
            "topic": "test-topic",
            "partition": 2,
            "replicas": [
                1,
                2,
                3
            ]
        },
        {
            "topic": "test-topic",
            "partition": 3,
            "replicas": [
                1,
                2,
                3
            ]
        }
    ]
}

  2. 执行副本存储计划

    kafka-reassign-partitions.sh --bootstrap-server kafka-21:9092 --reassignment-json-file increase-replication-factor.json --execute

四、文件存储

4.1 文件存储机制

image-20220508175714508

通过工具查询index和log信息

kafka-run-class.sh kafka.tools.DumpLogSegments --files ./00000000000000000000.index

kafka-run-class.sh kafka.tools.DumpLogSegments --files ./00000000000000000000.log

image-20220508180131625

日志存储参数配置:

  • log.segment.bytes：Kafka 中 log 日志是分成一块块存储的，此配置是指 log 日志划分 成块的大小，默认值 1G。
  • log.index.interval.bytes：默认 4kb，kafka 里面每当写入了 4kb 大小的日志(.log)，然后就 往 index 文件里面记录一个索引。 稀疏索引

4.2 文件清理策略

Kafka 中默认的日志保存时间为 7 天，可以通过调整如下参数修改保存时间。

  • log.retention.hours，最低优先级小时，默认7天。
  • log.retention.minutes，分钟。
  • log.retention.ms，最高优先级毫秒。
  • log.retention.check.interval.ms，负责设置检查周期，默认5分钟。

Kafka 中提供的日志清理策略有 delete 和 compact 两种。

  • delete 日志删除:将过期数据删除

    • log.cleanup.policy = delete 所有数据启用删除策略

    • 基于时间: 默认打开。以 segment 中所有记录中的最大时间戳作为该文件时间戳。

    • 基于大小: 默认关闭。超过设置的所有日志总大小，删除最早的 segment。

      log.retention.bytes，默认等于-1，表示无穷大。

  • compact 日志压缩

    compact日志压缩:对于相同key的不同value值，只保留最后一个版本。

    log.cleanup.policy = compact 所有数据启用压缩策略

    image-20220508180510230

    压缩后的offset可能是不连续的，比如上图中没有6，当从这些offset消费消息时，将会拿到比这个offset大 的offset对应的消息，实际上会拿到offset为7的消息，并从这个位置开始消费。

    这种策略只适合特殊场景，比如消息的key是用户ID，value是用户的资料，通过这种压缩策略，整个消息 集里就保存了所有用户最新的资料。

五、高效读写数据

  1. Kafka 本身是分布式集群，可以采用分区技术，并行度高

  2. 读数据采用稀疏索引，可以快速定位要消费的数据

  3. 顺序写磁盘

    Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端， 为顺序写。官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机写只有 100K/s。这 与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。

  4. 页缓存 + 零拷贝技术

    • 零拷贝: Kafka的数据加工处理操作交由Kafka生产者和Kafka消费者处理。Kafka Broker应用层不关心存储的数据，所以就不用

    走应用层，传输效率高。

    • PageCache页缓存: Kafka重度依赖底层操作系统提供的PageCache功能。当上层有写操作时，操作系统只是将数据写入 PageCache。当读操作发生时，先从PageCache中查找，如果找不到，再去磁盘中读取。实际上PageCache是把尽可能多的空闲内存 都当做了磁盘缓存来使用。

    image-20220508180655909

    参数信息：

    • log.flush.interval.messages：强制页缓存刷写到磁盘的条数，默认是 long 的最大值， 9223372036854775807。一般不建议修改，交给系统自己管 理。
    • log.flush.interval.ms：每隔多久，刷数据到磁盘，默认是 null。一般不建议修改， 交给系统自己管理。
coder_xiaoyou
关注
专栏目录
Kafka系列：broker列表、引导服务器和zookeeper
DeoSql的博客
09-24 222
在Kafka集群中，每个broker都会向Zookeeper注册自己的信息，包括broker的ID、主题分区的分配情况等。在本文中，我们详细介绍了Kafka中的broker列表、引导服务器和Zookeeper的概念，并提供了相应的Java代码示例。在Apache Kafka中，broker列表、引导服务器和Zookeeper是关键概念，它们在Kafka集群的运行和管理中扮演着重要的角色。在上面的配置中，我们指定了一个由逗号分隔的Zookeeper地址列表。在上面的代码中，我们将引导服务器的地址设置为。
Kafka系列之：kafka集群broker节点变化重新分配分区和修改副本数
zhengzaifeidelushang的博客
09-14 1223
Kafka系列之：kafka集群broker节点变化重新分配分区
kafka（二）：单节点多broker的部署和使用，以及监控
小蚯蚓的博客
10-08 1698
一、前提准备工作 包括zk安装配置，以及kafka安装配置，请参考：kafka（一）：单节点broker的部署和使用 二、多broker配置 1.配置server.properties，server1.properties，server2.properties三个文件的关键信息： #1.server.properties broker.id=0 # The port the socket...
kafka的12个重要概念
最新发布
qq_46112274的博客
08-25 946
kafka的12个重要概念
【kafka】——Broker
qq_42000631的博客
09-28 4549
kafka broker
kafka broker
yao_wen_yu的博客
06-09 2897
broker工作流程、节点退役服役、kafka副本、leader选举流程、kafka文件存储、kafka分区副本分配
Kafka系列之broker-list,bootstrap-server以及zookeeper
wangshiqi666的博客
04-28 2678
kafak中broker-list和bootstrap-servers
kafka源码核心阅读
Tongya1998的博客
07-20 1412
学习kafka的核心源码，包括源码的下载，生产者消费者及服务端的源码流程解读与图解
kafka java jvm 优化_kafka优化–JVM参数配置优化
weixin_39700625的博客
02-26 788
主要是启动脚本和log4j基本参数的设置和优化，这些参数藏的比较深。1、JVM参数配置优化如果使用的CMS GC算法，建议JVM Heap不要太大，在4GB以内就可以。JVM太大，导致Major GC或者Full GC产生的“stop the world”时间过长，导致broker和zk之间的session超时，比如重新选举controller节点和提升follow replica为leader ...
Kafka SASL/SCRAM+ACL实现动态创建用户及权限控制
qq_34594142的博客
09-07 856
kafka系列文章 第一章 linux单机安装kafka 第二章 kafka——集群安裝部署(自带zookeeper) 第三章 Kafka SASL/SCRAM+ACL实现动态创建用户及权限控制 Kafka SASL/SCRAM+ACL实现动态创建用户及权限控制** 使用SASL / SCRAM进行身份验证 请先在不配置任何身份验证的情况下启动Kafka 1. 创建SCRAM Credentials Kafka中的SCRAM实现使用Zookeeper作为凭证(credential)存储。 可以使用kafka
Kafka集群配置
Mono的博客
01-04 750
假设集群中有三台机器, ip地址分别为： xx.101.139.1, xx.101.139.2, xx.101.139.3. zookeeper集群： xx.101.139.1:2181, xx.101.139.2:2181, xx.101.139.3:2181. kafka broker集群: xx.101.139.1:9092, xx.101.139.2:9092, xx.101.139.3:9092. 配置zookeeper集群 1 修改zookeeper的配置文件，在$ZOOKEEPER_H
大数据-消息队列-Kafka(六)：Kafka Broker（集群）
u013250861的博客
04-04 396
follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉（HW之前每个节点都有，故安全），从HW开始向leader进行同步。leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件。Kafka中log日志是分成一块块存储的，此配置是指log日志划分 成块的大小，默认值1G。每隔多久，刷数据到磁盘，默认是null。
分布式消息队列Kafka（三）- 服务节点Broker
weixin_42232931的博客
04-25 793
当broker启动的时候，都会创建KafkaController对象，但是集群中只能有一个leader对外提供服务，这些每个节点上的KafkaController会在指定的zookeeper路径下创建临时节点，只有第一个成功创建的节点KafkaController才可以成为leader，其余的都是follower。​ Topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数 据。参数设定，默认 30s。
Kafka系列 - 深入探究broker
阿健小站
05-30 963
1.背景 主要从控制器、consumer主题管理、kafka的副本机制三个方面对broker进行深入研究，梳理清楚broker端的一些基础流程。 2.控制器 控制器的作用？ 在 Kafka 集群中会有一个或多个 broker，其中有一个 broker 会被选举为控制器（KafkaController）。 1.管理整个集群中所有分区和副本的状态。比如：某分区leader副本出现故障，控制器为该分区选举leader副本。ISR发生变化，控制器通知所有broker更新元数据。 2.控制器负责分区的重新
kafka查看broker上主副本_Kafka partition 副本迁移与broker上下线
weixin_35763787的博客
01-14 493
Kafka partition 副本迁移与broker上下线1 前言Controller 在初始化时，会利用 ZK 的 watch 机制注册很多不同类型的监听器，当监听的事件被触发时，Controller 就会触发相应的操作。Controller 在初始化时，会注册多种类型的监听器，主要有以下几种：l 监听/admin/reassign_partitions节点，用于分区副本迁移的监听；l...
Kafka的broker-list,bootstrap-server以及zookeeper的关系
代码写的越急，程序跑得越慢。
05-05 1761
broker指的是kafka的服务端，可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。 broker-list用来指定集群中的一个或者多个服务器，一般我们再使用console producer的时候，这个参数是必备参数；另外一个必备的参数是topic，如下示例： [atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop002:9092 --topic first
Kafka 基本指令大全
qq_39751320的博客
10-31 589
注意： 下载的kafka会自带zookeeper，所以不需要在自己重新下载。 使用kafka前要先启动zookeeper，在启动kafka 启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka bin/kafka-server-start.sh config/server.properties 创建topic bin/kafka-topics.sh --create --zookeeper loca
docker 数据湖
10-03
Docker数据湖是指使用Docker容器技术搭建的一个用于存储和管理大数据的环境。要搭建一个Docker数据湖，首先需要安装docker和docker-compose。可以使用以下步骤进行安装和配置： 1. 安装docker-compose： - 下载docker-compose：`sudo curl -L "https://github.com/docker/compose/releases/download/1.23.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose` - 添加可执行权限：`sudo chmod +x /usr/local/bin/docker-compose` - 查看docker-compose版本：`docker-compose --version` 2. 安装docker： - 使用yum安装docker：`yum -y install docker` - 启动docker：`systemctl start docker.service` - 设置为开机自启动：`systemctl enable docker.service` 3. 配置hosts文件： - 打开/etc/hosts文件：`sudo vi /etc/hosts` - 在文件中添加对应的映射，例如： ``` 192.168.12.122 hudi 127.0.0.1 adhoc-1 127.0.0.1 adhoc-2 127.0.0.1 namenode 127.0.0.1 datanode1 127.0.0.1 hiveserver 127.0.0.1 hivemetastore 127.0.0.1 kafkabroker 127.0.0.1 sparkmaster 127.0.0.1 zookeeper ``` 4. 编译Hudi源码和设置配置等步骤，可以根据具体需求进行操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值