![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
消息队列
皮哥四月红
这个作者很懒,什么都没留下…
展开
-
深度剖析kafka中的消费者组
前言在前面写的 Kafka架构和工作流程深入解析 一文中有介绍kafka中的消费者组和消费方式,那么,在此基础上本文结合各情形案例来做进一步地剖析。一、什么是消费者组(Consumer Group)消费者组(Consumer Group)是逻辑上的概念,是Kafka中实现单播和广播两种消息模型的手段。对于同一个topic的数据,会广播给不同的group;同一个group中的worker,只有一个worker能拿到这个数据。换句话说,对于同一个topic,每个group都可以拿到同样的所有数据,但是原创 2020-07-13 19:18:13 · 2688 阅读 · 0 评论 -
kafka中的AR、ISR、LEO、HW分别是什么
AR: Assigned Replicas的缩写,是每个partition下所有副本(replicas)的统称; ISR: In-Sync Replicas的缩写,是指副本同步队列,ISR是AR中的一个子集; LEO:LogEndOffset的缩写,表示每个partition的log最后一条Message的位置。 HW: HighWatermark的缩写,是指consumer能够看到的此partition的位置。 取一个partition对应的ISR中最小的LEO作为HW,consumer最多只能消.原创 2020-07-13 15:34:11 · 6675 阅读 · 0 评论 -
kafka中的自定义拦截器(interceptor)使用详解
一、拦截器原理Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor的实现接口是 org.apache.kafka.cli原创 2020-07-13 13:12:13 · 1684 阅读 · 0 评论 -
ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
问题现象:在启动kafka集群之后,发现部分机器上的kafka进程没有起起来。原因定位:通过在没有起起来的机器上查看kafka启动日志发现如下报错信息:ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn’t match st原创 2020-07-13 11:50:37 · 2788 阅读 · 1 评论 -
kafka中的自定义分区器使用详解
综述在Kafka中,topic是逻辑上的概念,而partition是物理上的概念。不用担心,这些对用户来说是透明的。 生产者(producer)只关心自己将消息发布到哪个topic,而消费者(consumer)只关心自己订阅了哪个topic上的消息,至少topic上的消息分布在哪些partition节点上,它本身并不关心。设想一下,如果在Kafka中没有分区的话,那么topic的消息集合将集中于某一台服务器上,单节点的存储性能将马上成为瓶颈,当访问该topic存取数据时,吞吐也将成为瓶颈。介于此,ka原创 2020-07-10 18:18:35 · 1441 阅读 · 1 评论 -
Java实现kafka生产者与消费者并将消费后的消息写入HDFS
一、前期准备工作:虚拟机已安装和基本配置好;Zookeeper已安装好;Kafka已安装好;Hadoop已安装好;启动之后查看进程是否都起来了:二、编写代码:1、创建Maven工程并导入相关依赖: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId>原创 2020-07-09 18:30:16 · 1445 阅读 · 2 评论 -
Kafka架构和工作流程深入解析
Kafka中的常用术语Broker:Kafka集群包含一个或多个服务器,这种服务器被称为brokerTopic:每条发布到Kafka集群的消息都有一个类别,这个类别被称为topic。(物理上不同topic的消息分开存储,逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处)Partition:parition是物理上的概念,每个topic包含一个或多个partition,创建topic时可指定parition数量。每个pa原创 2020-07-06 17:50:47 · 949 阅读 · 0 评论 -
Flume中的事件event源码分析和自定义拦截器interceptor
你只管努力,上天自有安排!原创 2020-07-06 10:18:49 · 1120 阅读 · 0 评论