kafka
文章平均质量分 65
Micrle_007
这个作者很懒,什么都没留下…
展开
-
Kafka开启批量消费
kafka原创 2023-08-18 08:46:05 · 658 阅读 · 0 评论 -
kafka集群搭建(Linux环境)
kafka集群原创 2023-07-29 22:04:28 · 1337 阅读 · 0 评论 -
kafka:java.nio.file.AccessDeniedException问题解决
在Windows10上使用kafka3.0时,出现一个文件权限访问异常的错误,查找了一些资料,大概的意思是kafka3.0在window上的支持不是很好,最后我选用了kafka_2.11.1-1.1.1版本后就正常了原创 2022-03-03 18:00:28 · 3669 阅读 · 0 评论 -
kafka日志清理策略
https://blog.csdn.net/u013200380/article/details/106453013/1. kafka日志清理策略概述kafka log的清理策略有两种:delete,compact,默认是delete这个对应了kafka中每个topic对于record的管理模式delete:一般是使用按照时间保留的策略,当不活跃的segment的时间戳是大于设置的时间的时候,当前segment就会被删除compact: 日志不会被删除,会被去重清理,这种模式要求每个recor转载 2021-12-15 14:17:53 · 3860 阅读 · 0 评论 -
kafka日志清理策略,compact和delete
https://blog.csdn.net/u013200380/article/details/106453013/1. kafka日志清理策略概述kafka log的清理策略有两种:delete,compact,默认是delete这个对应了kafka中每个topic对于record的管理模式delete:一般是使用按照时间保留的策略,当不活跃的segment的时间戳是大于设置的时间的时候,当前segment就会被删除compact: 日志不会被删除,会被去重清理,这种模式要求每个record原创 2021-11-22 16:18:38 · 6586 阅读 · 0 评论 -
kafka如何确定分区数
https://www.cnblogs.com/huxi2b/p/4757098.html在Kafak中国社区的qq群中,这个问题被提及的比例是相当高的,这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。怎么确定分区数? “我应该选择几个分区?”——如果你在Kafka中国社区的群里,这样的问题你会经常碰到的。不过有些遗憾的是,我们似乎并没有很权威的答案能够解答这样的问题。其实这也不奇怪,毕竟这样的问题通常都是没有固定答案的。K..原创 2021-11-17 12:57:44 · 1773 阅读 · 0 评论 -
kafka Producer APIs (version:2.4.1)
SKIP NAVIGATION LINKSOVERVIEW PACKAGE CLASS TREE DEPRECATED INDEX HELPPREVCLASS NEXTCLASSFRAMES NOFRAMESSUMMARY: NESTED| FIELD| CONSTR| METHODDETAIL: FIELD| CONSTR| METHODorg.apache.kafka.clients.consumerClass Kaf...原创 2021-11-15 21:01:16 · 1625 阅读 · 0 评论 -
kafka是如何创建topic的
Kafka创建topic命令很简单,一条命令足矣:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 这条命令会创建一个名为test的topic,有3个分区,每个分区需分配3个副本。那么在这条命令之后Kafka又做了什么事情呢?本文将对此进行一下梳理,完整地阐述Kafka topic是如何创建的。 topic创建主要分为两个部分...转载 2021-10-13 21:42:54 · 7347 阅读 · 0 评论 -
kafka中zookeeper的作用
https://www.jianshu.com/p/a036405f989cleader 选举 和 follower 信息同步如上图所示,kafaka集群的 broker,和 Consumer 都需要连接 Zookeeper。Producer 直接连接 Broker。Producer 把数据上传到 Broker,Producer可以指定数据有几个分区、几个备份。上面的图中,数据有两个分区 0、1,每个分区都有自己的副本:0'、 1'。黄色的分区为 leader,白色的为 followe转载 2021-10-12 21:36:13 · 343 阅读 · 0 评论 -
kafka详细总结
https://blog.csdn.net/YChenFeng/article/details/74980531KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,L转载 2021-09-19 20:22:49 · 271 阅读 · 0 评论 -
kafka中文文档
https://kafka.apachecn.org/documentation.html#topicconfigs文档Kafka 1.0 文档Prior releases:0.7.x,0.8.0,0.8.1.X,0.8.2.X,0.9.0.X,0.10.0.X,0.10.1.X,0.10.2.X,0.11.0.X.1. 入门 1.1 介绍 1.2 使用案例 1.3 快速开始 1.4 生态圈 1.5 升级 2. APIS 2.1 生产者 API...转载 2021-08-30 14:19:54 · 3913 阅读 · 0 评论 -
Kafka中Producer与Broker之间的交互
https://blog.csdn.net/Delicious_Life/article/details/106889968目录分区策略高可用处理Exactly Once解决消息重复发送的问题分区策略生产者放到broker中的数据为什么要分区存储?1.方便在集群中扩展2.更小的存储数据单元,可以提高并发分区存储的原则1.如果生产者指定放到broker的哪个partition中了,那就会按指定的分区存储2.如果生产者没有指明partition但存储的内容.转载 2021-08-30 10:14:26 · 394 阅读 · 0 评论 -
kafka分区分配策略
如下图,有两个主题,每个主题有3个分区,两个消费者组,组1有两个消费者A和B,并且都订阅了T1,但是B同时还订阅了T2,而组2有一个消费者,只订阅了T1,所以这里就有分区的分配策略问题了kafka的分区分配策略有两种:roundrobin和range如果使用roundrobin,也就是以消费者组为中心,把消费者组里所有的消费者订阅的主题作为一个整体轮询的发送给消费者组里的消费者进行消费,也就是说总共有6个分区,轮询的发送给Group1,这就有一个问题,即:A并没有订阅T2,但是T2的消息就有可能被A原创 2021-08-29 10:27:44 · 555 阅读 · 0 评论