![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 82
白枭
专注、极致、口碑、快
展开
-
简单搞定Kafka: producer拦截器
拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。 对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor的实现接口是org.apache.kafka.client转载 2021-05-08 19:34:24 · 116 阅读 · 0 评论 -
简单搞定Kafka: 工作流程分析
Kafka生产过程分析 写入方式 producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)。 分区(Partition) 消息发送时都被发送到一个topic,其本质就是一个目录,而topic是由一些Partition Logs(分区日志)组成,其组织结构如下图所示: 我们可以看到,每个Partition中的消息都是有序的,生产的消息被不断...原创 2021-04-26 17:02:50 · 140 阅读 · 0 评论 -
简单搞定Kafka:消费过程分析
高级API 1)高级API优点 高级API 写起来简单 不需要去自行去管理offset,系统通过zookeeper自行管理 不需要管理分区,副本等情况,系统自动管理 消费者断线会自动根据上一次记录在zookeeper中的offset去接着获取数据(默认设置1分钟更新一下zookeeper中存的的offset) 可以使用group来区分对同一个topic 的不同程序访问分离开来(不同的group记录不同的offset,这样不同程序读取同一个topic才不会因为offset互相影响) 2)高级AP转载 2021-04-19 15:14:45 · 119 阅读 · 0 评论 -
简单搞定Kafka:分布式集群部署
环境准备 集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka jar包下载 下载地址:http://kafka.apache.org/downloads.html 虚拟机准备 1)准备3台虚拟机 2)配置ip地址 3)配置主机名称 4)3台主机分别关闭防火墙 安装jdk...原创 2021-04-12 14:22:55 · 106 阅读 · 0 评论 -
简单搞定Kafka:Consumer均衡算法
kafka的Consumer均衡算法 有一个topic:test,然后这个topic的partition和他们所在的broker的图如下: 1.其中 broker有两个,也就是服务器有两台。 2.partition有6个,分布按照如图所示,按照哈希取模的算法分配。 3.消费者有8个,他们属于同一个消费组。 如果按照如图所示,那么这一个消费组中的消费者会怎么取kafka的数据呢? 其实kafka的消费端有一个均衡算法,算法如下: 1.A=(partition数量/同分组消费者总个数)..原创 2021-04-06 15:38:21 · 301 阅读 · 0 评论