kafka
sanhongbo
这个作者很懒,什么都没留下…
展开
-
kafka单个生产者向具有多个partition的topic写数据(写入分区策略)
使用轮询策略和随机策略,单个分区是有序,但是整个topic的分区数据消费者组中的消费者读起来,就是乱序的了。按key分区策略,只能保证局部有序。kafka中的消息是全局乱序的,局部partition是有序的,如果我们要实现消息总是有序的,可以将连续的消息放到一个partition。但kafka就失去了分布式的意义。原创 2022-10-09 15:34:55 · 1527 阅读 · 0 评论 -
windows安装kafka
一、下载kafkahttp://kafka.apache.org/downloads选择二进制版本。二、安装kafka下载到本地后,将文件解压到本地磁盘下,该文件夹包括了所有相关的运行文件及配置文件,其子文件夹bin\windows 下放的是在Windows系统启动zookeeper和kafka的可执行文件,子文件夹config下放的是zookeeper和kafka的配置文件。将安装包在本地解压。$ tar -xzf kafka_2.13-2.8.0.tgz$ cd kafka_2.13原创 2022-03-18 14:46:51 · 4812 阅读 · 0 评论 -
kafka 偏移量latest、earliest
earliest:如果一个消费者之前提交过offset。 假设这个消费者中途断过,那当它恢复之后重新连接到队列集群 此时应该是从 它在集群中之前提交的offset点开始继续消费,而不是从头消费。 而一个消费者如果之前没有offset记录并设置earliest ,此时才会从头消费。按照栗子来说就是 之前订过1月份的报纸(存在offset记录)然后设置earliest此时是不管用的,报社还是会给你发1月之后的报纸(不会从头消费),而如果你是一个新用户(不存在offset) 当你订阅报纸并设置earliest原创 2021-12-28 09:48:50 · 11564 阅读 · 2 评论 -
kafka集群一键安装
参考原文https://blog.csdn.net/qq_37641047/article/details/105281050真棒转载 2021-03-26 22:54:40 · 191 阅读 · 0 评论