Kafka是什么？典型应用场景有哪些？ （消息队列、流处理平台；日志收集、实时分析、事件驱动架构等）

Kafka 核心解析与场景代码示例

一、Kafka核心概念

Apache Kafka 是分布式流处理平台，具备以下核心能力：

• 发布-订阅模型：支持多生产者/消费者并行处理
• 持久化存储：消息默认保留7天（可配置）
• 分区机制：数据分布式存储，提升吞吐量
• 副本机制：保障数据高可用性

二、典型应用场景与Java实现

1. 实时数据管道（服务解耦）

// 生产者示例
Properties producerProps = new Properties();
producerProps.put("bootstrap.servers", "localhost:9092");
producerProps.put("key.serializer", StringSerializer.class.getName());
producerProps.put("value.serializer", StringSerializer.class.getName());

try (Producer<String, String> producer = new KafkaProducer<>(producerProps)) {
    producer.send(new ProducerRecord<>("order_topic", "order123", "New Order Created"));
}

// 消费者示例
Properties consumerProps = new Properties();
consumerProps.put("bootstrap.servers", "localhost:9092");
consumerProps.put("group.id", "order-processor");
consumerProps.put("key.deserializer", StringDeserializer.class.getName());
consumerProps.put("value.deserializer", StringDeserializer.class.getName());

try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(consumerProps)) {
    consumer.subscribe(Collections.singleton("order_topic"));
    while (true) {
        ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
        records.forEach(record -> processOrder(record.value()));
    }
}

优势：生产消费解耦，支持水平扩展

2. 事件溯源（金融交易）

// 事件发布
public void publishTransactionEvent(Transaction transaction) {
    String eventJson = serializeTransaction(transaction);
    producer.send(new ProducerRecord<>("transaction_events", 
        transaction.getId(), eventJson));
}

// 事件回放
public void replayEvents(LocalDateTime startTime) {
    consumer.seekToBeginning(consumer.assignment());
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
    records.forEach(record -> {
        if (parseTimestamp(record) > startTime) {
            rebuildState(record.value());
        }
    });
}

优势：完整审计追踪，支持状态重建

3. 日志聚合（分布式系统）

// 日志收集器
public class ServiceLogger {
    private static Producer<String, String> kafkaProducer;
    
    static {
        Properties props = new Properties();
        props.put("bootstrap.servers", "kafka:9092");
        kafkaProducer = new KafkaProducer<>(props);
    }

    public static void log(String serviceName, String logEntry) {
        kafkaProducer.send(new ProducerRecord<>("app_logs", 
            serviceName, logEntry));
    }
}

// 日志分析消费者
consumer.subscribe(Collections.singleton("app_logs"));
records.forEach(record -> {
    elasticsearch.indexLog(record.key(), record.value());
});

优势：统一日志处理，支持实时分析

4. 流处理（实时风控）

// Kafka Streams处理拓扑
StreamsBuilder builder = new StreamsBuilder();
KStream<String, Transaction> transactionStream = builder.stream("transactions");

transactionStream
    .groupByKey()
    .windowedBy(TimeWindows.of(Duration.ofMinutes(5)))
    .aggregate(
        () -> 0L,
        (key, transaction, total) -> total + transaction.getAmount(),
        Materialized.with(Serdes.String(), Serdes.Long())
    )
    .toStream()
    .filter((windowedKey, total) -> total > FRAUD_THRESHOLD)
    .to("fraud_alerts", Produced.with(WindowedSerdes.timeWindowedSerdeFrom(String.class), Serdes.Long()));

优势：实时复杂事件处理，毫秒级响应

三、核心优势对比

场景	传统方案痛点	Kafka解决方案
数据管道	系统耦合度高	生产消费解耦，吞吐量提升10倍+
事件溯源	数据易丢失	持久化存储+副本机制保障数据安全
日志聚合	日志分散难分析	统一收集+流式处理能力
实时处理	批处理延迟高	亚秒级延迟+Exactly-Once语义

四、生产环境最佳实践

// 生产者优化配置
producerProps.put("acks", "all"); // 确保数据可靠性
producerProps.put("compression.type", "snappy"); // 压缩优化
producerProps.put("max.in.flight.requests.per.connection", 5); // 吞吐优化

// 消费者优化配置
consumerProps.put("auto.offset.reset", "earliest"); // 从最早开始消费
consumerProps.put("enable.auto.commit", false); // 手动提交offset
consumerProps.put("max.poll.records", 500); // 批量拉取优化