数据传输Kafka技术
文章平均质量分 62
数据传输
尘世壹俗人
做一只马喽
展开
-
Kafka的偏移量到底是什么,手动维护又是什么
有很多小伙伴不知道Kafka的偏移量说的到底是什么,导致使用它的时候迷迷糊糊的,现在我给大家用最简单的方式说说这个东西到底是什么首先偏移量是一个比较官方的说法,其实它就是两个数字,一个表示这当前数据消费的位置,另一个代表着数据量最大位置,我在网上随便找了一个kafka0.10以后自带的偏移量维护脚本所展示的信息,大家看一下,让大家先从最源头的kafka端看一下偏移量到底长的是什么样的字如上图展示的信息当中详细的展示了消费者组对应一个主题下所有分区的偏移量,以及对应的消费者线程,其中我们重点看CURRE原创 2021-03-30 13:11:57 · 4202 阅读 · 0 评论 -
Kafka消费者策略
截止当前的2.7,kafka一共有三种消费者策略第一种是Range,也叫轮训,说的是对于同一组消费者来说,使用轮训分配的方式,决定消费者消费的分区原创 2021-03-05 18:57:31 · 2360 阅读 · 2 评论 -
Kafka的ACK机制
Kafka的ACK机制是发生在生产者和Kafka集群的一种数据备份的策略我们使用过Kafka的应该都知道,在建立一个topic的时候,会只能副本数replication-factor ./kafka-topics.sh --create --zookeeper 192.168.85.133:2181,192.168.85.134:2181,192.168.85.135:2181 --replication-factor 2 --partitions 1 --topic test比如我上面的这条命令,原创 2021-03-05 18:18:15 · 615 阅读 · 0 评论