大数据-kafka
文章平均质量分 84
guoqing2017
这个作者很懒,什么都没留下…
展开
-
Kafka服务端
Kafka服务端源码之网络 网络传输关键类及流程图: [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-x3swD7s0-1617173249475)(./服务端设计.png)] 上图可以看出有如下几个关键线程和关键类: Acceptor线程:接受并配置新连接的线程。 每个端点中有一个。 **Processor线程:**处理来自单个连接的所有请求的线程。 其中有N个并行运行,每个都有自己的选择器 **RequestChannel类:**处理请求,并将请求缓存在该类的reque原创 2021-03-31 14:47:55 · 1650 阅读 · 1 评论 -
Kafka的源码解读(一)-- 生产者
Kafka的源码解读(一)-- 生产者 该文档及之后的的kafka源码解读均以kafka2.4.0版本进行解读。kafka是用NIO作为通信基础的,这里不做赘述,如有需要连接NIO基础的课参考以下链接: https://editor.csdn.net/md/?articleId=113486103 生产者发送数据流程解读 生产者发送消息的流程简图如下: [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iEmm4Tn2-1612792370084)(/Users/deng原创 2021-02-08 21:53:15 · 1549 阅读 · 3 评论 -
Kafka架构设计
Kafka架构设计 Kafak核心概念 生产者(Producer) : 生产数据,并存放在指定的主题中 主题(topic) :类似于数据库中的表,按主题存储数据 分区(partition) :一个主题可以按分区存储数据,默认数据只有一个分区,一般为创建topic时指定分区数。在磁盘上体现为目录不同 消费者(consumer) : 消费存储在主题中的数据,数据是通过pull的方式,实现消费者消费数据,即消费者自己从topic中拉取 消费者组(consumer group) : 一组消费者,消费同一的主题原创 2021-01-29 10:36:30 · 2023 阅读 · 4 评论