Kafka使用IDEA读取本地文件并消费

 producer

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.Properties;

public class MyStuKafkaProducer {
    public static void main(String[] args) throws IOException {

        /* Properties类是Java提供的一个用于存储键值对的类，通常用于配置设置。*/
        Properties properties = new Properties();

        /* bootstrap.servers属性指定了Kafka代理（broker）的地址列表，消费者将连接这些代理以获取集群的元数据（如主题、分区等）。*/
        properties.setProperty("bootstrap.servers", "master:9092,node1:9092,node2:9092");

        /* 用于 反序列化消息键 的类。
         * org.apache.kafka.common.serialization.StringDeserializer，表示消息的键会被反序列化为字符串。 */
        properties.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        /* 用于 反序列化消息值 的类。
         * org.apache.kafka.common.serialization.StringDeserializer，表示消息的值会被反序列化为字符串。 */
        properties.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        // 创建消费者
        KafkaProducer<String, String> producer = new KafkaProducer<>(properties);

        // 读取本地文档
        BufferedReader br = new BufferedReader(new FileReader("Kafka/data/students.txt"));

        String line;
        while ((line = br.readLine()) != null) {
            // 生产者数据来源
            producer.send(new ProducerRecord<>("topic_students_1000", line));
        }
        producer.flush();
    }
}

---

consumer

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.ArrayList;
import java.util.Properties;


public class MyStuKafkaConsumer {
    public static void main(String[] args) throws InterruptedException {
    /* Properties类是Java提供的一个用于存储键值对的类，通常用于配置设置。*/
        Properties properties = new Properties();

        /* bootstrap.servers属性指定了Kafka代理（broker）的地址列表，消费者将连接这些代理以获取集群的元数据（如主题、分区等）。*/
        properties.setProperty("bootstrap.servers", "master:9092,node1:9092,node2:9092");

        /*
         * 用于 反序列化消息键 的类。
         * org.apache.kafka.common.serialization.StringDeserializer，表示消息的键会被反序列化为字符串。
         */

        properties.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        /* 用于 反序列化消息值 的类。
         * org.apache.kafka.common.serialization.StringDeserializer，表示消息的值会被反序列化为字符串。
         */
        // 忘记了可以使用 import org.apache.kafka.common.serialization.Serializer 找出
        properties.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        /* 偏移量决定了消费者从哪条消息开始读取。防止数据丢失，确保消息处理顺序，容错和恢复能力
         * 消费者组的偏移量设定规则：
         * earliest 相当于from-beginning 从头开始消费
         * latest 从最新的数据开始消费
         */

        // 设置偏移量
        properties.setProperty("auto.offset.reset", "earliest");
        // 消费组ID
        properties.setProperty("group.id", "grp01");

        // 创建消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);
        ArrayList<String> topic = new ArrayList<>();
        topic.add("topic_student_1000");
        // 指定消费者topic
        consumer.subscribe(topic);

        while (true) {
            // 拉取数据
            ConsumerRecords<String, String> consumerRecords = consumer.poll(10000);
            for (ConsumerRecord<String, String> record : consumerRecords) {
                System.out.println("消费者偏移量：" + record.offset());
                System.out.println("消费者分区：" + record.partition());
                System.out.println("消费者时间戳：" + record.timestamp());
                System.out.println("数据：" + record.value());
            }
            Thread.sleep(5000);
        }
    }
}