kafka消费者监听数据原理

最新推荐文章于 2024-07-05 11:33:14 发布

卡肤卡

最新推荐文章于 2024-07-05 11:33:14 发布

阅读量1.3w

点赞数 2

分类专栏：中间件文章标签：消息中间件 kafka

本文链接：https://blog.csdn.net/csdnzhangtao5/article/details/78248104

版权

本文探讨了Kafka作为高性能消息中间件的特性，并揭秘其消费者如何监听并处理topic中的新消息。通过源码分析，发现消费者通过开启线程池，以200毫秒的间隔不断从服务器拉取数据，接收到消息后交由ConsumerWorker线程进行处理。

摘要由CSDN通过智能技术生成

kafka确实是一个很牛逼的消息中间件。基本上是消息中间件中数据最快吞吐量最高的分布式消息中间件了。
由于公司对kafka全封装了，直接调用api就可以了。但是本人对kafka很感兴趣，就先看了下kafka监听topic里的新增的消息。
看了下源码其实很简单。

public class Consumer{

    private static final KafkaConsumer<String, String> consumer;
    private static ExecutorService executors;

// 消费者从partition里取数据时，需指定的一系列参数
    public ConsumerHandler(ConsumerProperty  consumerProperty, List<String> topics) {
        Properties props = new Properties();
        props.put("bootstrap.servers", consumerProperty.getBrokerList());
        pr