kafka的简单实例

关于kafka的安装
我主要是在windows下部署的，大家可以看这一篇

https://blog.csdn.net/woshixiazaizhe/article/details/80610432

然后后台启动这个kafka，进入到kafka的安装目录下

启动zookeeper：

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

启动kafka：

bin\windows\kafka-server-start.bat config\server.properties

发布订阅主题(topic ，这条命令的topic=test）

bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

这里可以用命令查一下，我之前建了的主题如下：

import org.apache.kafka.clients.producer.*;
import java.util.Properties;
import java.util.concurrent.ExecutionException;

/**
 *生产者程序，发送到1——100到消费者程序窗口
 * @不带回调函数的 API  只发一次：AtMost Once
 * @需要用到的类：
 *  KafkaProducer：需要创建一个生产者对象，用来发送数据
 *  ProducerConfig：获取所需的一系列配置参数
 *  ProducerRecord：每条数据都要封装成一个 ProducerRecord 对象
 * topic=test
 */
public class CustomProducer {
    public static void main(String[] args) throws ExecutionException, InterruptedException {
        Properties props = new Properties();
        //kafka 集群，broker-list
        props.put("bootstrap.servers", "localhost:9092");
        props.put("acks", "all");
        //重试次数
        props.put("retries", 1);
        //批次大小
        props.put("batch.size", 16384);
        //等待时间
        props.put("linger.ms", 1);
        //RecordAccumulator 缓冲区大小
        props.put("buffer.memory", 33554432);
        props.put("key.serializer",
                "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer",
                "org.apache.kafka.common.serialization.StringSerializer");
        Producer<String, String> producer = new
                KafkaProducer<>(props);
        for (int i = 0; i < 100; i++) {
            producer.send(new ProducerRecord<String, String>("test", Integer.toString(i), Integer.toString(i)));
        }
        producer.close();
    }
}

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.time.Duration;
import java.util.Arrays;
import java.util.Properties;

/**
 *消费者程序
 * 需要用到的类：
 * KafkaConsumer：需要创建一个消费者对象，用来消费数据
 * ConsumerConfig：获取所需的一系列配置参数
 * ConsumerRecord：每条数据都要封装成一个 ConsumerRecord 对象
 * 为了使我们能够专注于自己的业务逻辑，Kafka 提供了自动提交 offset 的功能。
 * 自动提交 offset 的相关参数：
 * enable.auto.commit：是否开启自动提交 offset 功能
 * auto.commit.interval.ms：自动提交 offset 的时间间隔
 * 以下为自动提交 offset 的代码：接收端跟发送端一致
 * 测试方法：
 *  1.Kafka控制台输入：bin/kafka-console-producer.sh --broker-list llhost:9092 --topic first
 *  2.用test.kafka.producer中程序进行测试
 * topic=test
 */
public class CustomConsumer1 {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "test");   //测试方法：CustomConsumer1和CustomConsumer2设置成一样的，则只有一个控制台会收到消息；CustomConsumer1设置不同组，则能收到发送端所有消息
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("test"));//订阅话题
        while (true) {
//            ConsumerRecords<String, String> records =
//                    consumer.poll(100);//@Deprecated
            ConsumerRecords<String, String> records1 =
                    consumer.poll(Duration.ofMillis(100));
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records)
                System.out.printf("offset = %d, key = %s, value = %s%n ", record.offset(), record.key(), record.value());
        }
    }
}