kafka监听topic消费_大白话 + 13 张图解 Kafka

  • 前言
  • 一、Kafka基础
    • 消息系统的作用
    • 1.Topic 主题
    • 2.Partition 分区
    • 3.Producer - 生产者
    • 4.Consumer - 消费者
    • 5.Message - 消息
  • 二、kafka的集群架构
    • Replica - 副本
    • Consumer Group - 消费者组
    • Controller
    • kafka和zookeeper如何配合工作
  • 加餐时间
    • 1.Kafka性能好在什么地方?
    • 2.日志分段存储
    • 3.Kafka的网络设计
  • finally

  • 《Java 2019 超神之路》
  • 《Dubbo 实现原理与源码解析 —— 精品合集》
  • 《Spring 实现原理与源码解析 —— 精品合集》
  • 《MyBatis 实现原理与源码解析 —— 精品合集》
  • 《Spring MVC 实现原理与源码解析 —— 精品合集》
  • 《Spring Boot 实现原理与源码解析 —— 精品合集》
  • 《数据库实体设计合集》
  • 《Java 面试题 —— 精品合集》
  • 《Java 学习指南 —— 精品合集》

前言

应大部分的小伙伴的要求,在Yarn之前先来一个kafka的小插曲,轻松愉快。

一、Kafka基础

消息系统的作用

应该大部份小伙伴都清楚,用机油装箱举个例子

033cb9ac2ff5df9f55848f06cf504e8c.png

所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用。

引入一个场景,我们知道中国移动,中国联通,中国电信的日志处理,是交给外包去做大数据分析的,假设现在它们的日志都交给了你做的系统去做用户画像分析。

252ceb3722189ef8b459ba1d92948d98.png

按照刚刚前面提到的消息系统的作用,我们知道了消息系统其实就是一个模拟缓存 ,且仅仅是起到了缓存的作用 而并不是真正的缓存,数据仍然是存储在磁盘上面而不是内存。

1.Topic 主题

kafka学习了数据库里面的设计,在里面设计了topic(主题),这个东西类似于关系型数据库的表

a84e429c42e7d92d5179622983c557fb.png

此时我需要获取中国移动的数据,那就直接监听TopicA即可

2.Partition 分区

kafka还有一个概念叫Partition(分区ÿ

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 以下是使用Java编写Kafka消费监听Topic的示例代码: ```java import java.util.Collections; import java.util.Properties; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import org.apache.kafka.common.serialization.StringDeserializer; public class KafkaConsumerExample { public static void main(String[] args) { Properties props = new Properties(); props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "test-group"); props.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); props.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Collections.singletonList("test-topic")); while (true) { ConsumerRecords<String, String> records = consumer.poll(1000); for (ConsumerRecord<String, String> record : records) { System.out.println("Received message: " + record.value()); } } } } ``` 在上面的代码中,我们使用了KafkaConsumer类来创建一个Kafka消费者,并订阅了一个名为"test-topic"的Topic。然后,我们使用一个无限循环来轮询Kafka集群,以便在有新消息时能够及时处理。在每次轮询时,我们使用poll方法从Kafka集群中获取消息,并对每个消息进行处理。在这个示例中,我们只是简单地将消息内容打印到控制台。 ### 回答2: Kafka 是一种分布式流处理平台,它可以用于构建高可靠性、可扩展性和可容错性的实时数据流处理系统。使用 Java 编写 Kafka 监听消费 Topic 的代码如下: 首先,我们需要导入相关的 Kafka 相关包: ```java import java.util.Properties; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import org.apache.kafka.common.serialization.StringDeserializer; ``` 然后,我们可以创建 Kafka 消费者并设置相关属性: ```java Properties props = new Properties(); props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); // 设置 Kafka 服务器地址 props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-group"); // 设置消费者组 ID props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); // 设置键反序列化器 props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); // 设置值反序列化器 KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props); ``` 接下来,我们可以订阅要监听Topic: ```java consumer.subscribe(Arrays.asList("my-topic")); // 订阅主题,可以是单个主题或者多个主题 ``` 最后,我们可以循环监听消费消息: ```java while (true) { ConsumerRecords<String, String> records = consumer.poll(100); // 从 Kafka 中获取消息 for (ConsumerRecord<String, String> record : records) { System.out.printf("Topic: %s, Partition: %d, Offset: %d, Key: %s, Value: %s\n", record.topic(), record.partition(), record.offset(), record.key(), record.value()); // 在这里进行自定义的消息处理逻辑 } } ``` 以上就是使用 Java 编写 Kafka 监听消费 Topic 的基本代码。根据实际需求,你可以进一步处理消费的消息,例如将其保存到数据库、进行计算等等。同时,请确保你已经正确配置了 Kafka 的相关参数,包括 Kafka 服务器地址、消费者组 ID 等。 ### 回答3: Kafka是一个分布式的消息队列系统,允许多个消费者同时监听同一个主题(topic)。以下是使用Java编写的Kafka监听topic消费的常见写法: 首先,需要引入Kafka的相关依赖: ``` <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.8.0</version> </dependency> ``` 接下来,创建一个Kafka消费者对象,并设置相关属性: ``` Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); // Kafka集群的地址 props.put("group.id", "my-consumer-group"); // 消费者组ID props.put("enable.auto.commit", "true"); // 自动提交消费位移 props.put("auto.commit.interval.ms", "1000"); // 消费位移提交间隔时间 props.put("auto.offset.reset", "earliest"); // 从最早的偏移量开始消费 props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); // key的反序列化器 props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); // value的反序列化器 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); ``` 然后,订阅要监听的主题(topic): ``` consumer.subscribe(Arrays.asList("my-topic")); // 订阅单个主题 // 或者 consumer.subscribe(Pattern.compile("my-topic.*")); // 订阅多个主题(使用正则表达式匹配) ``` 最后,开始消费消息: ``` try { while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); // 每100毫秒拉取一次消息 for (ConsumerRecord<String, String> record : records) { String key = record.key(); String value = record.value(); long offset = record.offset(); int partition = record.partition(); System.out.println("Received message: key = " + key + ", value = " + value + ", offset = " + offset + ", partition = " + partition); // 处理消息的逻辑代码 } } } finally { consumer.close(); // 关闭消费者 } ``` 以上就是使用Java编写的Kafka监听topic消费的基本写法。其中,我们通过创建一个Kafka消费者对象,设置相关属性,订阅要监听的主题,然后在一个无限循环中通过`poll`方法拉取消息进行消费。最后,记得在消费完成后关闭消费者。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值