![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
lexus960
这个作者很懒,什么都没留下…
展开
-
Kafka最全面教程系统化讲解-高级
在阅读本文时,请先读前面的文章Kafka最全面教程系统化讲解(一)集群的成员关系Kafka使用 zookeeper来维护集群成员的信息。每个 broker都有个唯一标识符, 这个标识符可以在配置文件里指定, 也可以自动生成。 在 broker启动的时候, 它通过创建临时节点把自己的 ID注册到 zoo-keeper。 Kafka组件订阅 Zookeeper的/brokers/ids路径(broker在 zookeeper上的注册路径) , 当有 broker加入集群或退出集群时, 这些组件就可以获得通原创 2020-06-16 21:08:46 · 495 阅读 · 0 评论 -
Kafka 源码解析之 Consumer 如何加入一个 Group
在 Kafka 中,Consumer 的复杂度要比 producer 高出很多,对于 Producer 而言,没有 producer 组的概念的、也不需要 care offset 等问题,而 Consumer 就不一样了,它需要关注的内容很多,需要考虑分布式消费(Consumer Group),为了防止重复消费或者部分数据未消费需要考虑 offset,这些都对 Consumer 的设计以及 Server 对其处理提出了很高的要求。本来计划是先进行综述,然后再分别介绍各个模块,现在打算反过来,先介绍各个模块,转载 2020-06-17 16:23:15 · 648 阅读 · 0 评论 -
KafkaProducer消息发送源码解析
上一讲中,我们大概的分析了下KafkaProducer消息发送流程,本节将从源码的角度深入分析消息发送过程。消息发送之前的准备工作都已经在客户端KafkaProducer的构造器中完成,包括:配置项加载、序列器初始化、消息收集器初始化、消息发送线程初始化等等。而消息的发送入口在send()方法中:Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback);public Future&l转载 2020-06-17 16:23:37 · 519 阅读 · 1 评论 -
Kafka生产者流程客户端消息发送过程解析
本文Kafka源码版本:1.0.0.一、KafkaProducer介绍1、KafkaProducer介绍与使用KafkaProducer是Kafka的客户端、消息的生产者,用来将消息发往Kafka cluster。KafkaProducer是线程安全的,并且单线程使用KafkaProducer实例比多线程性能更高。使用示例:Properties props = new Properties();props.put("bootstrap.servers", "localhost:9092");转载 2020-06-17 16:24:29 · 313 阅读 · 0 评论 -
Kafka最全面教程系统化讲解-基础
什么是Kafkakafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是,LinkedIn虽然有了数据库和其他系统可以用来存储数据,但是缺乏一个可以帮助处理持续数据流的组件。所以在设计理念上,开发者不想只是开发一个能够存储数据的系统,如关系数据库、Nosql数据库、搜索引擎等等,更希望把数据看成一个持续变化和不断增长的流,并基于这样的想法构建出一个数据系统,一个数据架构。Kafka可以看成一个流平台,这个平台上可以发布和订阅数据流,并把他们保存起来,进行处理。Kafka有点像消息系统,允原创 2020-06-16 15:00:12 · 665 阅读 · 0 评论