kafka
文章平均质量分 66
csdn-延
好记性不如个烂笔头
展开
-
Kafka中的数据不丢失机制
在消费者消费数据的时候,只要每个消费者记录好offset值即可,就能保证数据不丢失。注:如果broker迟迟不给ack,而buffer又满了,开发者可以设置是否直接清空buffer中的数据。生产者数据发送出去,需要服务端返回一个确认码,即ack响应码;1:partition的leader收到数据,不管follow是否同步完数据,响应的状态码为1。在broker中,保证数据不丢失主要是通过副本因子(冗余),防止数据丢失。0:生产者只负责发送数据,不关心数据是否丢失,丢失的数据,需要再次发送。转载 2023-08-01 13:04:30 · 739 阅读 · 0 评论 -
Kafka为什么性能这么快?4大核心原因详解
通过这种分区分段的设计,Kafka 的 message 消息实际上是分布式存储在一个一个小的 segment 中的,每次文件操作也是直接操作的 segment。这种分区分段+索引的设计,不仅提升了数据读取的效率,同时也提高了数据操作的并行度。另一个主要功能是 kafka 写数据的时候,是以磁盘顺序写的方式来写的,也就是说仅仅将数据追加到文件的末尾,不是在文件的随机位置来修改数据。即采用磁盘顺序写,这样就不需要寻道时间,只需很少的旋转时间,将数据追加到文件的末尾,不是在文件的随机位置来修改数据。转载 2023-08-01 12:37:09 · 840 阅读 · 0 评论 -
调整kafka服务端允许生产者发送的最大消息体大小
集群配置1. server.propertiesmessage.max.bytes=5242880default.replication.factor=2replica.fetch.max.bytes=5242880说明:broker 配置:message.max.bytes (默认:1000000) – broker能接收消息的最大字节数,这个值应该比消费端的fetch.message.max.bytes更小才对,否则broker就会因为消费端无法使用这个消息而挂起。...原创 2022-03-06 10:11:15 · 6502 阅读 · 0 评论 -
Redis、Kafka 和 Pulsar 消息队列对比
导语 |市面上有非常多的消息中间件,rabbitMQ、kafka、rocketMQ、pulsar、 redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以redis、kafka和 pulsar为例,逐步深入,讲讲它们架构和原理,帮助你更好地理解和学习消息队列。文章作者:刘德恩,腾讯IEG研发工程师。一、最基础的队列最基础的消息队列其实就是一个双端队列,我们可以用双向链表来实现,如下图所示:push_front:添加元素到队首;...转载 2021-06-02 00:20:30 · 118 阅读 · 0 评论 -
kafka利用命令查看consumer消费情况
旧版本( <= 0.9)./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group bigdata --topic data-center --zookeeper zk:2181或者/kafka-consumer-offset-checker.sh --group bigdata --topic data-center --zookeeper zk:2181新版本( > 0.9)./kafka-cons.原创 2020-11-20 22:41:38 · 4081 阅读 · 0 评论 -
Kafka consumer group位移0ffset重设
本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是, 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。在新版本之前,如果要为已有的consumer group调整位移必须要手动编写Java程序调用KafkaConsumer#seek方法,费时费...转载 2020-03-29 00:29:08 · 272 阅读 · 0 评论 -
delete.topic.enable=true,然后通过kafka manager能删除干净吗?
delete.topic.enable=true ; auto.create.topics.enable=false ; 只有这两个参数同时开启,kafka-manager才可以将某个topic删除干净。 auto.create.topics.enable意思是:produce可以推送消息到一个不存在的topic(即:发消息到一个不存在的topic,系统会帮你按默认参数...原创 2020-03-29 00:23:48 · 7335 阅读 · 3 评论 -
kafka中partition和消费者对应关系
1个partition只能被同组的一个consumer消费,同组的consumer则起到均衡效果消费者多于partitiontopic: test 只有一个partition创建一个topic——test,bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --parti...转载 2020-03-18 01:43:04 · 605 阅读 · 0 评论 -
Kafka实践
以下命令示范在kafka版本为0.10.1.0下进行。* 查看kafka版本 kafka没有提供version命令,不确定是否有方便的方法,但你可以进入kafka/libs文件夹。你应该看到像kafka_2.11-0.10.1.0.jar这样的文件,其中2.11是Scala版本,0.10.1.0是Kafka版本。 链文* 启动 Kafka使用ZooKeeper,...原创 2019-04-10 18:04:36 · 415 阅读 · 0 评论