Kafka
文章平均质量分 54
pierre94
just think!
展开
-
【小笔记】使用wireshark分析kafka相关数据包
文章目录抓包开启wireshark的kafka插件按kafka协议解码分析kafka数据包参考资料本文记录的wireshark版本号是当前最新版本3.4.5抓包tcpdump -i any -nn -vv tcp port 9092 -s 0 -w kafka_dump.cap开启wireshark的kafka插件最新版本默认已经开启按kafka协议解码右击decode as分析kafka数据包如下图所示,可以比较清晰地找出apikey = 18的请求来自哪个ip和端口原创 2021-05-08 19:16:59 · 1018 阅读 · 0 评论 -
【kafka】高版本Client连接0.9Server引发的血案排查
一、案发现场1、生产端疯狂告警在一个月黑风高的夜晚,我们kafka生产端开始疯狂告警,出现大量程序队列堵塞、数据写入失败、写入性能下降的告警。 程序Bug? 网络抖动? 集群抖动? 服务过载? 《Java现网问题排查技巧及实践》:应用日志是切入问题的最佳点,通常情况下系统出现问题时应用日志都会有相应的异常日志输出。通过分析异常日志能够定位到具体的代码片段,缩小问题排查范围。我们先看看生产端程序的日志:在生产端采用参数调优...原创 2020-07-09 09:24:39 · 953 阅读 · 0 评论 -
kafka的86条笔记,全会的肯定是高手
笔记源自:《深入理解kafka:核心设计与实现》前言请原谅我使用这种标题党标题。文章内容比较松散,涉及Kafka基本概念、后台设计、运营优化等各个方面。假如每一项都掌握很好的话,一定就是kafka高手!正文同一主题下的不同分区包含的消息是不同的,分区在存储层面可以看作一个可追加的日志(Log)文件,消息在被追加到分区日志文件的时候都会分配一个特定的偏移量(offset)。offset是消息在分区中的唯一标识,Kafka通过它来保证消息在分区内的顺序性,不过offset并不跨越分区,也就.原创 2020-06-01 20:13:29 · 565 阅读 · 0 评论 -
【kafka】__consumer_offsets部分分区异常导致消费不到数据问题排查
部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。原创 2020-04-24 13:15:25 · 6502 阅读 · 0 评论 -
【kafka】源码分析-Producer过程全解
Kafka,作为目前在大数据领域应用最为广泛的消息队列,其内部实现和设计有很多值得深入研究和分析的地方。本系列将从kafka 2.2.0源码入手,详细分析kafka的功能设计与实现。其中本篇文章重点分析kafka的producer过程。原创 2020-04-15 20:19:55 · 683 阅读 · 0 评论 -
【Flink】使用kafka-connector消费数据时看不到consumer-id等信息
文章目录问题复现初步结论源码分析KafkaConsumer实现FlinkKafkaConsumer实现一句话总结问题复现使用connecor消费数据的时候,我们./bin/kafka-consumer-groups.sh查看消费的情况时发现异常而使用kafka-client的时候,这些信息是能正常显示的初步结论https://issues.apache.org/jira/brows...原创 2020-04-10 21:16:24 · 7688 阅读 · 7 评论 -
【kafka】高吞吐源码分析-顺序写入与刷盘机制
kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:- NIO- 磁盘顺序读写- Queue数据结构的极致使用- 分区提高并发- 零拷贝提高效率- 异步刷盘- 压缩提高数据传输效率原创 2020-04-03 13:00:38 · 2944 阅读 · 0 评论 -
【kafka】源码分析-ZeroCopy助力kafka实现高吞吐
文章目录系列前言ZeroCopy基础概念传统IOZeroCopy是什么Java中的ZeroCopykafka实现具体使用使用场景参考系列前言kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:NIO磁盘顺序读写Queue数据结构的极致使用分区提高并发零拷贝提高效率异步刷盘压缩提高数据传输效率本次...原创 2020-04-01 21:17:25 · 665 阅读 · 0 评论 -
【kafka】Producer笔记
文章目录一、kafka简介二、生产者基本实现1.示意图2.具体实现:2.1 Fire-and-forget模式2.2 同步模式2.3 callback模式三、producer参数调优1. acks2. retries3. serializer.class4. compression.codec5. batch.num.messages & queue.buffering.max.ms四、分...原创 2019-05-13 01:29:09 · 650 阅读 · 0 评论 -
【kafka】consumer offset提交异常时数据会重复么?
文章目录一、问题描述:问题:初步思考二、场景复现:测试环境:复现三、问题分析:日志服务端源码参考一、问题描述:问题:kafka consumer消费poll到某分区数据后未及时commit offset,此时另外一个消费线程消费该分区时会消费到重复数据么?初步思考我们已知:一个分区在某个时刻只能被一个消费线程消费数据kafka服务端和客户端都会维护一个offset问题引申出来的...原创 2020-03-31 22:02:20 · 1763 阅读 · 0 评论