Kafka
一颗向上的草莓
后台开发者,前端爱好者,个人博客:http://catchu.github.io
展开
-
kafka学习地址
https://objcoding.com/2020/09/19/kafka-standalone-consumer/http://matt33.com/tags/kafka/原创 2020-12-22 20:09:44 · 397 阅读 · 0 评论 -
记一次线上Kafka消息堆积踩坑总结
年后上线的系统,与其他业务系统的通信方式采用了第三代消息系统中间件Kafka。由于是第一次使用,踩了很多坑,通过这篇博客和大家分享一下,也算是做个总结,以便以后温故而知新。一、线上问题 系统平稳运行两个多月,基本上没有问题,知道最近几天,突然出现Kafka手动提交失败,堆栈信息如下:通过堆栈信息可以看出,有两个重要参数: session.timeout 和 max.poll.recordssession.timeout.ms :在使用Kafka的团队管理设施时,用于检测消费者失...转载 2020-07-28 19:26:20 · 413 阅读 · 0 评论 -
Kafka分区与消费者的关系
1. 前言我们知道,生产者发送消息到主题,消费者订阅主题(以消费者组的名义订阅),而主题下是分区,消息是存储在分区中的,所以事实上生产者发送消息到分区,消费者则从分区读取消息,那么,这里问题来了,生产者将消息投递到哪个分区?消费者组中的消费者实例之间是怎么分配分区的呢?接下来,就围绕着这两个问题一探究竟。2. 主题的分区数设置在server.properties配置文件中可以指定一个全局的分区数设置,这是对每个主题下的分区数的默认设置,默认是1。当然每个主题也可以自己设置分区数量,如..转载 2020-07-24 21:21:14 · 411 阅读 · 0 评论 -
kafka中处理超大消息的一些考虑
Kafka设计的初衷是迅速处理短小的消息,一般10K大小的消息吞吐性能最好(可参见LinkedIn的kafka性能测试)。但有时候,我们需要处理更大的消息,比如XML文档或JSON内容,一个消息差不多有10-100M,这种情况下,Kakfa应该如何处理?针对这个问题,有以下几个建议: 最好的方法是不直接传送这些大的数据。如果有共享存储,如NAS, HDFS, S3等,可以把这些大的文件存放到共享存储,然后使用Kafka来传送文件的位置信息。 第二个方法是,将大的消息数据切片或切块,在生产端将数..原创 2020-07-19 10:46:58 · 654 阅读 · 0 评论