kafka

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

import java.util.Properties;
import java.util.concurrent.ExecutionException;

// 演示kafka的生产者实现
public class KafkaProducerTest {

    public static void main(String[] args) {
        //1.1 设置生产者的配置
        Properties props = new Properties();
        props.put("bootstrap.servers", "node01:9092,node02:9092,node03:9092"); // 指定连接那个kafka
        props.put("acks", "all"); // 消息确认机制:    all  -1  0
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("retries", 0);  // 重试的次数
        props.put("batch.size", 16384); // 批量发送数据的大小
        props.put("linger.ms", 1); //  什么时候发送: 毫秒
        props.put("buffer.memory", 33554432); // 缓冲区的大小

        //1. 创建 kafka的生产者的对象: KafkaProducer
        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        //2.  循环 发送 100 条消息
        for (int i = 0; i < 10; i++) {
            // ProducerRecord:  是消息传输的载体 : 参数1: 连接那个topic   参数2: key值   参数3:  value值

                producer.send(new ProducerRecord<String, String>("my-topic",2, Integer.toString(i), Integer.toString(i)));

        }
        producer.close();

    }
}
 

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

// 消费者的实现
public class KakfaConsumerTest {

    public static void main(String[] args) {
        //1.1 设置消费者的配置
        Properties props = new Properties();
        props.setProperty("bootstrap.servers", "node01:9092,node02:9092,node03:9092"); // 设置连接kafka的地址
        props.setProperty("group.id", "test"); // 组id值: 如果id值一致, 说明消费是在一个组当中
        props.setProperty("enable.auto.commit", "true"); // 自动提交:  true      : 提交数据消费偏移量
        props.setProperty("auto.commit.interval.ms", "1000"); //  自动提交的间隔时间:  1s
        props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        //1 : 创建 kafka消费者对象: kafkaConsumer: 传递消费者的配置对象
        KafkaConsumer consumer = new KafkaConsumer<String, String>(props);

        //2.  让消费者订阅topic :  消费者要监听那个topic中数据呢
        consumer.subscribe(Arrays.asList("my-topic"));

        while (true) {
            //3.  通过消费者对象获取消息:  参数是超时时间: 如果没有消费, 阻塞多长时间
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());

            }
        }

    }
}