Kafka API和监控

最新推荐文章于 2024-08-13 08:57:43 发布

旭cooler

最新推荐文章于 2024-08-13 08:57:43 发布

阅读量1.7k

点赞数

分类专栏： Kafka 文章标签： kafka

本文链接：https://blog.csdn.net/weixin_43799054/article/details/105224770

版权

本文深入探讨Kafka的Producer和Consumer API，包括消息发送流程、异步和同步发送、Consumer的offset管理和自定义Interceptor。此外，还介绍了如何通过Kafka Eagle进行监控，确保Kafka集群的稳定运行。

摘要由CSDN通过智能技术生成

API

Producer API

消息发送流程

Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。

异步发送 API

1）导入依赖

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.11.0.0</version>
</dependency>

2）编写代码

需要用到的类：

KafkaProducer：需要创建一个生产者对象，用来发送数据

ProducerConfig：获取所需的一系列配置参数

ProducerRecord：每条数据都要封装成一个 ProducerRecord 对象

1.不带回调函数的 API

package kafka.producer;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

public class MyProducer {
   
    public static void main(String[] args) {
   
        // 1. 创建kafka生产者的配置信息
        Properties properties = new Properties();

        // 2. 指定连接的kafka集群
        properties.put("bootstrap.servers", "h1:9092");

        // 3. ACK应答级别
        properties.put("acks", "all");

        // 4.重试次数
        properties.put ("retries", 1);

        // 5. 批次大小 16k
        properties.put ("batch.size", 16384);

        // 6. 等待时间 1毫秒
        properties.put ("linger.ms", 1);

        // 7. RecordAccumulator缓冲区大小 32M
        properties.put ("buffer.memory", 33554432);

        // 8. Key,Value的序列化类
        properties.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");
        properties .put ("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // 9. 创建生产者对象
        Producer<String, String> producer = new KafkaProducer<String, String>(properties);

        // 10. 发送数据
        for (int i = 0; i < 10; i++){
   
            producer.send(new ProducerRecord<String, String>("first","liuxu--"+i));
        }

        // 11. 关闭资源
        producer.close();

    }
}

运行结果：

2.带回调函数的API

package kafka.producer;

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.clients.producer.ProducerConfig;

import java.util.Properties;

public class CallBackProducer {
   
    public static void main(String[] args) {
   
        // 创建配置信息
        Properties properties = new Properties();
        properties.p