kafka部署架构图-CSDN博客

Kafka部署架构与代码示例

Apache Kafka是一个分布式流处理平台，广泛用于构建实时数据管道和流应用程序。本文将介绍Kafka的部署架构，并提供一些代码示例，帮助读者更好地理解Kafka的工作原理。

Kafka部署架构

Kafka的部署架构主要包括以下几个组件：

Broker：Kafka的消息代理，负责维护消息的存储和传输。
Producer：消息生产者，负责向Kafka发送消息。
Consumer：消息消费者，负责从Kafka接收消息。
ZooKeeper：负责维护Kafka集群的状态信息，如Broker列表、分区状态等。
Topic：消息的主题，是Kafka中消息的分类单位。
Partition：主题的分区，用于实现消息的并行处理和高可用性。

以下是一个简单的Kafka部署架构图：

Kafka代码示例

以下是一个简单的Kafka生产者和消费者的例子，使用Java编写。

生产者代码示例

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

public class KafkaProducerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 100; i++) {
            String message = "Message " + (i + 1);
            producer.send(new ProducerRecord<String, String>("test-topic", message));
        }
        producer.close();
    }
}

消费者代码示例

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "test-group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("test-topic"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("Received message: key = %s, value = %s%n", record.key(), record.value());
            }
        }
    }
}