docker安装kafka，springboot集成kafka

docker安装kafka

前言

环境：centos7
容器：docker
这里网上资料很多我就一笔带过
安装docker参考我的这篇文章: censtos7下安装docker

在kafka2.8版本开始尝试从服务架构中去掉zookeeper,到了3.0版本这个工作基本上完成。我这边还是采用zookeeper，感兴趣的小伙伴可以自行百度。

安装zookeeper

拉取镜像

docker pull zookeeper:<version> 这里是版本号 如果不加就是拉取最新的版本

启动容器

docker run -d --name myZookeeper -p 2181:2181 -t zookeeper

安装kafka

拉取镜像

docker pull wurstmeister/kafka:<version> 这里是版本号 如果不加就是拉取最新的版本

启动容器

docker run -d --name myKafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=自己的虚拟机地址:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://自己的虚拟机地址:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka

kafka-map图形化管理工具(可选)

拉取镜像

docker pull dushixiang/kafka-map

启动容器

docker run -d --name kafka-map \
    -p 9001:8080 \
    -e DEFAULT_USERNAME=admin \
    -e DEFAULT_PASSWORD=admin \
    --restart always dushixiang/kafka-map:latest

检查容器启动

docker ps

出现了exit的就是容器启动失败，通过命令docker logs 容器id查看日志

springboot集成kafka

1. 依赖注入
   版本可以自行指定，我直接依赖parent（2.7.11）

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

2.配置文件

###########【Kafka集群】###########
spring.kafka.bootstrap-servers=192.168.75.128:9092
###########【初始化生产者配置】###########
# 重试次数
spring.kafka.producer.retries=0
# 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选0、1、all/-1)
spring.kafka.producer.acks=1
# 批量大小
spring.kafka.producer.batch-size=16384
# 提交延时
spring.kafka.producer.properties.linger.ms=0
# 当生产端积累的消息达到batch-size或接收到消息linger.ms后,生产者就会将消息提交给kafka
# linger.ms为0表示每接收到一条消息就提交给kafka,这时候batch-size其实就没用了

# 生产端缓冲区大小
spring.kafka.producer.buffer-memory = 33554432
# Kafka提供的序列化和反序列化类
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
# 自定义分区器
# spring.kafka.producer.properties.partitioner.class=com.felix.kafka.producer.CustomizePartitioner

###########【初始化消费者配置】###########
# 默认的消费组ID
spring.kafka.consumer.properties.group.id=defaultConsumerGroup
# 是否自动提交offset
spring.kafka.consumer.enable-auto-commit=true
# 提交offset延时(接收到消息后多久提交offset)
spring.kafka.consumer.auto.commit.interval.ms=1000
# 当kafka中没有初始offset或offset超出范围时将自动重置offset
# earliest:重置为分区中最小的offset;
# latest:重置为分区中最新的offset(消费分区中新产生的数据);
# none:只要有一个分区不存在已提交的offset,就抛出异常;
spring.kafka.consumer.auto-offset-reset=latest
# 消费会话超时时间(超过这个时间consumer没有发送心跳,就会触发rebalance操作)
spring.kafka.consumer.properties.session.timeout.ms=120000
# 消费请求超时时间
spring.kafka.consumer.properties.request.timeout.ms=180000
# Kafka提供的序列化和反序列化类
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
# 消费端监听的topic不存在时，项目启动会报错(关掉)
spring.kafka.listener.missing-topics-fatal=false
# 设置批量消费
# spring.kafka.listener.type=batch
# 批量消费每次最多消费多少条消息
# spring.kafka.consumer.max-poll-records=50

# 自定义分区器
# pring.kafka.producer.properties.partitioner.class=com.example.demo.configuration.CustomizePartitioner

spring.main.allow-circular-references=true

3. 普通生产消费
   生产者：

@RestController
public class KafkaProducer {

    @Autowired
    private KafkaTemplate<String, Object> kafkaTemplate;

    // 发送消息
    @GetMapping("/kafka/normal/{message}")
    public void sendNormalMessage(@PathVariable("message") String normalMessage) {
        kafkaTemplate.send("testTopic", normalMessage);
    }
}

消费者：

@Component
public class KafkaConsumer {
    // 消费监听
    @KafkaListener(topics = {"testTopic"})
    public void onMessage(ConsumerRecord<?, ?> record){
        // 消费的哪个topic、partition的消息,打印出消息内容
        System.out.println("简单消费："+record.topic()+"-"+record.partition()+"-"+record.value());
    }
}

参考: SpringBoot集成kafka全面实战