kafka配置参数

已于 2023-05-28 22:32:38 修改
阅读量1.2k 收藏 1
点赞数
分类专栏： Kafka 文章标签： kafka 分布式
于 2023-05-21 19:33:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42496486/article/details/130795313
版权

为什么需要关心topic的配置

这些参数会影响topic的性能和行为。

常见的参数配置

1 、partition count

一开始就要设置好partition的个数，不要在后面动态的增加partition，否则会破坏key和partition配置的对应关系。
粗略统计，每增加一个partition会给系统增加10MB/sec的吞吐量。

更多的partition意味着；

  • 更好的并行性和吞吐量
  • BUT 系统需要打开更多的文件
  • BUT 如果一个broker挂掉，而这个broker有好多文件，需要选出新的leader broker系统才能重新工作，而过多的文件会造成延迟
  • BUT 会造成更多的replicate延迟操作

建议个数：

  • 一个broker里面partition的个数在2000～4000之间
  • partition个数小于20000
  • 每个topic的partition个数 = （1 to 2) * (# of brokers), max 10 partitions
  • 例如有3个brokers, 最好设置3～6个partitions

2、replication count

增加replication factor个数，会消耗更多的磁盘空间，也会对集群造成很大的压力。

更多的RF意味着；

  • 系统更强的健壮性，可以容忍N-1个broker挂掉
  • BUT 更长的replication(当设置acks=all的时候，需要得到所有的broker相应)】
  • BUT 更多的磁盘空间(50% more if RF is 3 instead of 2)

建议个数：3个broker

3、partitions and segments

单个partition是由segment组成的，每个segment都对应一个文件。每个segment都有一个开始和结束的位置（字节为单位的offset），对于同一个partition来说，同一时间只有唯一一个active segment，也就是说数据会被追加到active segment里面。
在这里插入图片描述
log.segment.bytes: the max size of a single segment in bytes
log.segment.ms: the Kafka will wait before committing the segment if not full

以上图为例，每一个segment的大小是958字节，当数据写满958个字节后，对应的segment就会关闭，再创建一个新的segment。

对于每一个segment来说，都有两个index（文件）：
an offset to position index（空间）：通过位置去定位信息
a timestamp to offset index（时间）：通过时间戳定位信息
这两个索引文件是伴随着segment存储在kafka中的

默认情况下log.segment.bytes = 1GB，设置过小会有什么影响

  • 每个partition会有更多的segment
  • 更多的log compaction事件
  • BUT 需要打开太多的文件

实际开发中需要关心一下吞吐量，如果是3GB，就可以使用默认参数。

默认情况下log.segment.ms = 1 week，设置过小会有什么影响

  • 产生更多的log compaction

4、Log Cleanup Policy

可以删除不需要的数据，维护kafka cluster的成本更低，同时有更高的性能。
log cleanup发生在partitions segment上面！

每当partition创建一个segment后，都会触发一个潜在的log cleanup需求，因此，如果segment比较小，就会有更多的log cleanup需求。
默认情况下，segment是1GB。

policy 1 ：log.cleanup.policy = delete

  • 有最大有效时间，一般默认保存一周；
  • 有最大容量，默认无限大。

policy 2 ：log.cleanup.policy = compact

  • 根据key来删除数据；
  • 如果有相同的key就会删除之前相同key的value；
  • 不会限制存储时间和数据大小。

相当于是快照数据。

其它参数

  • max.message.bytes
    默认1MB，可以发送给topic的单个message的大小，如果修改需要同步修改consumer侧的参数值。

  • min.isync.replicas
    默认是1，最少的需要的replica的响应数量。

  • unclean.leader.election
    默认是true, 是否允许位做完数据同步的replica作为leader broker。

玫瑰芽
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka 相关配置参数
08-24
Kafka 相关配置参数 详细列出Kafka各项参数说明及配置方法
response对象的方法有哪些_Scrapy详解之Response
weixin_39604819的博客
11-21 767
作者：Zarten知乎专栏：Python爬虫深入详解知乎ID： Zarten简介： 互联网一线工作者，尊重原创并欢迎评论留言指出不足之处，也希望多些关注和点赞是给作者最好的鼓励 ！介绍Response类用于http下载返回信息的类，它有几个子类：TextResponse 、 HtmlResponse 、 XmlResponse 其中 parse(self, response) 中的respo...
Kafka：合理设置分区数
程序员无羡的博客
04-06 3133
Kafka：合理设置分区数
【kafka topic 的partition不够怎么办，直接用命令方式修改Kafka还太麻烦】
最新发布
moyinhang的博客
04-23 178
kafka topic可视化修改
kafka topic配置(超详细的核心配置项说明)
巨魔战将
10-21 7841
topic核心配置 num.partitions 分区数量 设置策略 评估单分区吞吐量，考虑总的吞吐量 考虑消费者个数 可用的空间和贷款 分区大小限制 log.retention.ms topic数据保留时长 默认通过log.retention.hours配置时间，默认值为168小时，也就是7天 等同 log.retentions.hours log.reten...
Kafka 之 Topic 配置
流华追梦的专栏
02-17 847
Topic 就是数据主题，一个逻辑概念，可以用来区分业务系统。Kafka 中的 Topic 总是多订阅者模式，一个 Topic 可以拥有一个或者多个消费者来订阅它的数据。Topic 下的数据会被进一步分配到分区（Partition）中，Partition 是最小的存储单元，掌握着一个 Topic 的部分数据。每个 Partition 都是一个单独的 log 文件，每条记录（消息）都以追加的形式写入。事件被组织并持久地存储在 Topic 中，Topic 类似于文件系统中的文件夹，事件就是该文件夹中的文件。
Kafka入门-1
Zebras_zhku的博客
05-04 2089
kafka入门基本内容架构图成员角色：kafka架构注意注意一：（分区与3副本的关系）注意二：注意三：架构小总结：搭建操作window下创建主题window下查看主题模拟生产者模拟消费老版新版生产消费大致原理数据存储位置 基本内容 kafka基于发布订阅模式，大数据及时处理 架构图 成员角色： 1 ） Producer ：消息生产者，就是向 kafka broker 发消息的客户端； 2 ） ...
kafka topic数量上限_学习之路——Kafka学习
weixin_39965881的博客
12-03 3456
Kafka在目前Java程序员的技术栈中还是处于非常重要的地位，先根据搜集到的文档，视频等资料，对Kafka的学习进行现阶段总结，本文中的代码片段图片来自于《Kafka权威指南》电子版截图。1. 单机版Kafka架构模型图如下：名词解释：broker：一个独立的MQ服务器被称为broker。多个MQ服务器可组成broker集群。producer：生产者，生成数据后把数据发...
kafka
醉糊涂仙的博客
06-09 516
一，简介 Kafka 是分布式发布-订阅消息系统。 它最初由 LinkedIn 公司开发，使用 Scala语言编写,之后成为 Apache 项目的一部分。 二，producer（生产者） 和consumer（消费者） 发送消息者称为Producer。消息接收者成为Consumer。 三，broker kafka cluster（kafka集群）包含一个或多个服务器，服务器节点称为b...
Kafka的Topic和Partition是不是有个数限制？
kafka_zsxq的博客
12-03 4503
Topic官方没有给具体建议数字，我们之前的最佳实践一个集群上有2W+ Topic无压力 Partition官方给过一个公式可以参考： 每个Broker的Partition数量最好限制在100 × b × r（b是Broker数，r是Partition副本数），滴滴的最佳实践是单节点Parttion不易超过1000个，大量小文件容易导致HDD盘的读写性能下降 如果Partiton数过多，对于0.10.X版本的元数据处理有性能瓶颈（主要是频繁读写ZK导致），之后的集群版本支持几十W Partiton没啥
全网最详细地理解Kafka中的Topic和Partition以及关于kafka的消息分发、服务端如何消费指定分区、kafka的分区分配策略(range策略和RoundRobin策略)
念兮为美
02-10 2588
全网最详细地理解Kafka中的Topic和Partition以及关于kafka的消息分发、服务端如何消费指定分区、kafka的分区分配策略(range策略和RoundRobin策略)
kafka参数配置详解
03-24
Kafka参数配置详解 Kafka是一种流行的分布式流处理平台，用于构建实时数据管道和事件驱动的架构。为了确保Kafka集群的稳定运行和高性能，需要正确地配置Kafka参数。本文将详细介绍Kafka的参数配置，包括系统参数、...
kafka配置参数详解 - 网络技术
09-22
Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解
Kafka配置参数详解 - 网络技术.rar_KAFKA broker_Kafka配置参数详解_kafka
09-14
每个kafka broker中配置文件server.properties必须配置的属性如下
kafka笔记参数说明
01-26
学习和理解 Kafka 的参数配置，对于优化 Kafka 集群的性能和稳定性至关重要。例如，调整消息批次大小、保留策略、分区数量、副本因子等参数，都可以直接影响到 Kafka 系统的性能和可靠性。在实际部署和使用 Kafka 时...
kafka集群搭建及关键概念 - order_2
祁_z
07-15 596
集群图 Kafka集群环境搭建 Zookeeper集群环境 解压安装包 tar -zxvf zookeeper-3.4.10.tar.gz 重新命名 mv zookeeper-3.4.10zookeeper cd /usr/local/zookeeper/conf mv zoo_sample.cfg zoo.cfg 修改conf: vi zoo.cfg 修改两处 （1） dataDir=/usr/kafka/zookeeper/dat..
kafka topic数量上限_Kafka基础知识索引，面试必备
weixin_39976081的博客
12-03 6827
原创：小姐姐味道(微信公众号ID：xjjdog)，欢迎分享，转载请保留出处。我们在《360度测试：KAFKA会丢数据么？其高可用是否满足需求？》这篇文章中，详细说明了KAFKA是否适合用在业务系统中。但有些朋友，还不知道KAFKA为何物，以及它为何存在。这在工作和面试中是比较吃亏的，因为不知道什么时候起，KAFKA似乎成了一种工程师的必备技能。一些观念的修正从 0.9 版本开始，Kafka 的标语...
解析Kafka中的 Topic 和 Partition
Aeroever的博客
04-24 3260
Kafka 和 ActiveMQ 一样，都是非常优秀的消息订阅/发送的中间件。在 ActiveMQ 中，我们知道它有 Queue 和 Topic 的概念，但是在 Kafka 中，只有 Topic 这一个概念(Kafka 消费端通过 group.id 属性可以实现 ActiveMQ 中 Queue 的功能，参见图1)在 Kafka 中，Topic 是一个存储消息的逻辑概念，可以理解为是一个消息的集合。每条发送到 Kafka 集群的消息都会自带一个类别，表明要将消息发送到哪个 Topic 上。
Kafka（一）——Kafka集群的搭建与使用
pingce2的博客
06-17 982
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 Kafka的使用场景 日志收集：一个公司可以用Kaf
springboot自带的kafka配置参数
06-13
Spring Boot提供了以下Kafka配置参数： 1. spring.kafka.bootstrap-servers：Kafka集群的地址列表，用逗号分隔。 2. spring.kafka.client-id：Kafka客户端ID，默认为空。 3. spring.kafka.consumer.auto-commit-interval：自动提交偏移量的时间间隔（毫秒）。默认值为5000。 4. spring.kafka.consumer.auto-offset-reset：当服务器上没有初始偏移量或当前偏移量不可用时，应该从哪里开始消费。可选值为latest（从最新记录开始消费）或earliest（从最早的记录开始消费）。默认为latest。 5. spring.kafka.consumer.enable-auto-commit：是否启用自动提交偏移量。默认为true。 6. spring.kafka.consumer.fetch-max-wait：等待从Kafka获取消息的最长时间（毫秒）。默认为500。 7. spring.kafka.consumer.group-id：这个消费者所属的消费者组ID。 8. spring.kafka.consumer.key-deserializer：键的反序列化程序类。 9. spring.kafka.consumer.value-deserializer：值的反序列化程序类。 10. spring.kafka.listener.concurrency：侦听器容器的并发性级别。默认为1。 11. spring.kafka.producer.acks：producer期望从broker收到的确认数。可选值为0（不需要确认），1（需要确认leader），all（需要确认所有副本）。默认为1。 12. spring.kafka.producer.batch-size：单个批次的大小（字节）。默认为16384。 13. spring.kafka.producer.bootstrap-servers：Kafka集群的地址列表，用逗号分隔。 14. spring.kafka.producer.buffer-memory：生产者可以使用的总内存字节来缓冲消息。默认为33554432。 15. spring.kafka.producer.compression-type：消息压缩类型（gzip，snappy或lz4）。默认为none。 16. spring.kafka.producer.key-serializer：键的序列化程序类。 17. spring.kafka.producer.retries：在抛出异常之前重试发送消息的次数。默认为0。 18. spring.kafka.producer.value-serializer：值的序列化程序类。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值