Kafka集群安装笔记

简介

由 Scala 和 Java 编写，Kafka 是一种高吞吐量的分布式发布订阅消息系统。

下载

从官网下载所需 tgz 包。下载地址：https://kafka.apache.org/downloads

安装

环境要求：java运行环境

将下载的 tgz 包传到服务器中并解压

tar -zxvf kafka_2.13-3.1.0.tgz -C /usr/local/
cd /usr/local/kafka_2.13-3.1.0/

创建 log 目录

mkdir kafkaLogs

修改默认的配置文件

vim config/server.properties

需要修改以下几项

#broker的id,集群中的每台机器id唯一,其他两台分别1和2
broker.id=0
#服务器IP
host.name=192.168.40.160
#监听IP和端口
listeners=PLAINTEXT://192.168.40.160:9092
#公布监听IP和端口
advertised.listeners=PLAINTEXT://192.168.40.160:9092
#zk集群的ip和port,zk集群教程: https://blog.csdn.net/sinat_27245917/article/details/107414793
zookeeper.connect=192.168.40.146:2181,192.168.40.147:2181,192.168.40.148:2181
#log目录,刚刚上边建好的.
log.dirs=/usr/local/kafka_2.13-3.1.0/kafkaLogs

启动集群，分别在三台机器上执行以下命令

./bin/kafka-server-start.sh -daemon ./config/server.properties

验证集群是否启动成功

在 zookeeper 机器上执行命令查看节点信息

[root@localhost apache-zookeeper-3.5.8-bin]# ./bin/zkCli.sh -server 192.168.40.147:2181

[zk: 192.168.40.147:2181(CONNECTED) 0] ls /brokers/ids
[0, 1, 2]

其中 [0，1，2] 代表的就是 kafka 的三个节点。

Spring 集成 Kafka

引入 pom 依赖：

<dependency>
	<groupId>org.springframework.kafka</groupId>
	<artifactId>spring-kafka</artifactId>
</dependency>

配置 application.yml

spring:
  application:
    name: kafka-test
  kafka:
    # Kafka 集群配置
    bootstrap-servers: 192.168.40.160:9092,192.168.40.161:9092,192.168.40.162:9092
    # 生产者配置
    producer:
      # 设置大于0的值，则客户端会将发送失败的记录重新发送
      retries: 3
      # 批次大小 16k
      batch-size: 16384
      # 缓存区大小 32M
      buffer-memory: 33554432
      # 指定消息key和消息体的编解码方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      acks: 1
    # 消费者配置
    consumer:
      # 关闭自动提交
      enable-auto-commit: false
      # 消费者组
      group-id: kafka-test
      # 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
      auto-offset-reset: earliest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
    listener:
      # 当每一条记录被消费者监听器（ListenerConsumer）处理之后提交
      # RECORD
      # 当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后提交
      # BATCH
      # 当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后，距离上次提交时间大于TIME时提交
      # TIME
      # 当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后，被处理record数量大于等于COUNT时提交
      # COUNT
      # TIME |　COUNT　有一个条件满足时提交
      # COUNT_TIME
      # 当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后, 手动调用Acknowledgment.acknowledge()后提交
      # MANUAL
      # 手动调用Acknowledgment.acknowledge()后立即提交，一般使用这种
      # MANUAL_IMMEDIATE
      ack-mode: manual_immediate

创建消息生产者：

@RestController
@RequestMapping("/producer")
public class TestProducer {

    @Resource
    private KafkaTemplate<String, String> kafkaTemplate;

    /**
     * 发送kafka消息
     * @param msg
     * @return
     */
    @GetMapping("/send/{msg}")
    public String send(@PathVariable String msg){
        kafkaTemplate.send(KafkaTopics.TEST_TOPIC, msg);
        return "发送成功";
    }
}

创建消息消费者：

@Component
public class TestConsumer {

    /**
     * kafka 监听器，topic为 test_topic, 消费者组为 kafka-test
     * @param consumerRecord
     * @param ack
     */
    @KafkaListener(topics = KafkaTopics.TEST_TOPIC, groupId = "kafka-test")
    public void receive(ConsumerRecord<String, String> consumerRecord, Acknowledgment ack){
        String msg = consumerRecord.value();
        System.out.println(msg);
        System.out.println(consumerRecord);
        ack.acknowledge();
    }
}

调用接口测试：

http://127.0.0.1:8080/producer/send/hello