自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一只皮皮熊

随便写点啥

原创 【kafka】__consumer_offsets部分分区异常导致消费不到数据问题排查
原力计划

部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。

2020-04-24 13:15:25 610

原创 【kafka】源码分析-Producer过程全解
原力计划

Kafka,作为目前在大数据领域应用最为广泛的消息队列,其内部实现和设计有很多值得深入研究和分析的地方。本系列将从kafka 2.2.0源码入手,详细分析kafka的功能设计与实现。其中本篇文章重点分析kafka的producer过程。

2020-04-15 20:19:55 151

原创 【Flink】使用kafka-connector消费数据时看不到consumer-id等信息
原力计划

文章目录问题复现初步结论源码分析KafkaConsumer实现FlinkKafkaConsumer实现一句话总结问题复现使用connecor消费数据的时候,我们./bin/kafka-consumer-groups.sh查看消费的情况时发现异常而使用kafka-client的时候,这些信息是能正常显示的初步结论https://issues.apache.org/jira/brows...

2020-04-10 21:16:24 610

原创 【数据结构与算法】一道关于笛卡尔积的笔试题

有英文字典: Map<Character, String[]>,示例如下:a: [a, an]b: [bird, bus]c: [call, car, carry]...z: [zone]输入一个a~z组成的字符串,字符串每一位表示字典的key输出key映射的单词组成句子的集合(单词之间空格隔开)示例 输入:ab输出:"a bird""an bird""a bus""an bus"

2020-04-07 22:35:38 134

原创 【kafka】高吞吐源码分析-顺序写入与刷盘机制
原力计划

kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:- NIO- 磁盘顺序读写- Queue数据结构的极致使用- 分区提高并发- 零拷贝提高效率- 异步刷盘- 压缩提高数据传输效率

2020-04-03 13:00:38 348

原创 【kafka】源码分析-ZeroCopy助力kafka实现高吞吐
原力计划

文章目录系列前言ZeroCopy基础概念传统IOZeroCopy是什么Java中的ZeroCopykafka实现具体使用使用场景参考系列前言kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:NIO磁盘顺序读写Queue数据结构的极致使用分区提高并发零拷贝提高效率异步刷盘压缩提高数据传输效率本次...

2020-04-01 21:17:25 102

提示
确定要删除当前文章?
取消 删除