KafKa（二）------spring ,springboot 注解 代码实现生产和消费消息

前言

上一篇说了kafka 的安装配置https://blog.csdn.net/houdezaiwu1/article/details/94579120
忘记说基本概念了，补充一下：

• Broker kafka集群中的一台或多台服务器，越多吞吐量越大
• Topic kafka发送的消息都有一个类别，消费者制定topic 消费
• Partition 分区，一个topic 可以分为多个区，每个分区都是一个有序的队列，每条消息都会被分到一个有序的id,队列的offset 是id的下标
• Producer : 生产者
• Consumer: 消费者
• Consumer Group: 消费者群，每个消费者都有一个特定的群，如果不指定组名，则属于默认的群。这是Kafka 用来实现一个topic消息的广播和单播的手段。

一 java 简单实现

1. 引入依赖

    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>0.11.0.1</version>
    </dependency>

2 消息生产者

package kafka;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringDeserializer;
import org.apache.kafka.common.serialization.StringSerializer;
import org.apache.log4j.Logger;

import java.util.HashMap;
import java.util.Map;


public class ProduceSample {
    private static Logger logger = Logger.getLogger(ProduceSample.class);
    public static void main(String[] args) {
        productMsg();
    }
    public static void productMsg(){
        Map<String,Object> props = new HashMap<>();
        //bootstrap.servers: kafka集群，如果有多台物理服务器，就用逗号隔开
        props.put("bootstrap.servers","localhost:9092");
        //key.serializer 和 value.serializer： 消息序列化类型 ，
        // kafka 是以键值对形式发送消息到服务器的，在发送消息前生产者需要把不同类型的消息序列化为二进制类型，示例是文本类型，用的String
        props.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer","org.apache.kafka.common.serialization.StringSerializer");
        // ey.serializer 和 value.serializer： 消息反序列化类型
        props.put("key.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
        // zk.connect 用于指定 连接 zookeeper 的url ,提供了基于zookeeper 的集群服务器自动感知能力，可以动态从zookeeper获取kafka集群配置信息
        props.put("zk.connect","127.0.0.1:2181");

        String topic = "test-topic";
        Producer<String,String> producer = new KafkaProducer<String, String>(props);
        /**
         有了生产者之后就可以调用send方法发送消息了，该方法的入参数 ProducerRecord 类型对象，该类型常见构造形参3种
         ProducerRecord(topic,partition,key,value)
         ProducerRecord(topic,key,value)
         ProducerRecord(topic,value)
         topic 和value 是不能省略的，如果指定了 partition ，消息会发到指定的分区，
         如果制定了 key,没有指定 分区，会按照hash(key) 发送到指定的分区；
         如果只有topic 和value,会按照 round-robin 模式，即轮询的方式，发到没一个 partition 分区
         */

        producer.send(new ProducerRecord<>(topic,"idea-key2","java-message 1"));
        producer.send(new ProducerRecord<>(topic,"idea-key2","java-message 2"));
        producer.send(new ProducerRecord<>(topic,"idea-key2","java-message 3"));

        producer.close();
    }

}

3. 消费者

package kafka;

import org.apache.kafka.clients.consumer.Consumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

public class ConsumerSample {
    public static void main(String[] args) {
        consumeMsg();
    }
    public static void consumeMsg(){
        String topic = "test-topic";
        Properties props = new Properties();
        // 和生产者一样，表示Kafka集群，如果多台服务器，用逗号隔开
        props.put("bootstrap.servers","localhost:9092");
        // group.id 表示消费者的分组 Id
        props.put("group.id","testGroup1");
        // Consumer 的 offset 是否自动提交
        props.put("enable.auto.commit","true");
        // 自动提交offset 到zookeeper 的时间间隔，单位毫秒
        props.put("auto.commit.interval.ms","10000");
        // ey.serializer 和 value.serializer： 消息反序列化类型
        props.put("key.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
        /**
         * 接下来是消费者使用 subscribe方法订阅了topic 的消息，可以定好多，
         * poll 方法轮询Kafka 集群消息，一直等到集群中没有消息或到达超时时间，实例是100毫秒，
         */
        Consumer<String,String> consumer = new KafkaConsumer<String, String>(props);
        consumer.subscribe(Arrays.asList(topic));
        while (true){
            ConsumerRecords<String, String> records = consumer.poll(10000);
            for (ConsumerRecord <String, String> record : records) {
                System.out.println("[ partition = "+record.partition()+",offset = "+record.o