kafka
文章平均质量分 94
你的boy_Z
timianer
展开
-
Kafka学习之消费者
Kafka学习之消费者前言本博客主要介绍up在学习kafka中间件时候觉得需要记录的知识点。内容1、消费者与消费组消费者(Consumer)负责订阅Kafka中的主题(Topic),并且从订阅的主题上拉取消息。与其他一些消息中间件不同的是:在Kafka的消费理念中还有一层消费组(Consumer Group)的概念,每个消费者都有一个对应的消费组。当消息发布到主题后,只会被投递给订阅它的每个消费组中的一个消费者(也就是说订阅了同一个主题的消费组会收到同样的消息,但是同一消费组里面的消费者获取的是不原创 2021-07-01 16:56:55 · 474 阅读 · 0 评论 -
Kafka学习之生产者
Kafka学习之生产者前言本篇博客记录一下up学习kafka时候对生产者学习的一些知识点。原理分析整体架构分析首先我们来看一下生产者客户端的整体架构,如下图所示:可以看出,整个生产者是通过两种线程协调运行的,分别是主线程和Sender线程。 主线程的作用是创建消息,然后经过拦截器、序列号器和分区器发送到消息累加器。(可以理解为把消息缓存到内存里面了,对于客户端使用者来说,感受的流程就结束了,其余的流程都是kafka自己完成的) Sender线程的作用可以理解为拉取,从消息累加器(RecordA原创 2021-06-24 14:17:40 · 247 阅读 · 1 评论 -
kafka之事务
kafka学习之事务前言为了实现EOS(exactly once semantics,精确一次处理语义)karka从0.11.0.0版本开始引入了幂等性和事务两个特性来支撑。场景最简单的需求是producer发的多条消息组成一个事务这些消息需要对consumer同时可见或者同时不可见 。producer可能会给多个topic,多个partition发消息,这些消息也需要能放在一个事务里面,这就形成了一个典型的分布式事务。kafka的应用场景经常是应用先消费一个topic,然后做处理再发到另一个原创 2021-06-21 16:30:52 · 7022 阅读 · 2 评论