简介
由 Scala 和 Java 编写,Kafka 是一种高吞吐量的分布式发布订阅消息系统。
下载
从官网下载所需 tgz 包。下载地址:https://kafka.apache.org/downloads
安装
环境要求:java运行环境
将下载的 tgz 包传到服务器中并解压
tar -zxvf kafka_2.13-3.1.0.tgz -C /usr/local/
cd /usr/local/kafka_2.13-3.1.0/
创建 log 目录
mkdir kafkaLogs
修改默认的配置文件
vim config/server.properties
需要修改以下几项
#broker的id,集群中的每台机器id唯一,其他两台分别1和2
broker.id=0
#服务器IP
host.name=192.168.40.160
#监听IP和端口
listeners=PLAINTEXT://192.168.40.160:9092
#公布监听IP和端口
advertised.listeners=PLAINTEXT://192.168.40.160:9092
#zk集群的ip和port,zk集群教程: https://blog.csdn.net/sinat_27245917/article/details/107414793
zookeeper.connect=192.168.40.146:2181,192.168.40.147:2181,192.168.40.148:2181
#log目录,刚刚上边建好的.
log.dirs=/usr/local/kafka_2.13-3.1.0/kafkaLogs
启动集群,分别在三台机器上执行以下命令
./bin/kafka-server-start.sh -daemon ./config/server.properties
验证集群是否启动成功
在 zookeeper 机器上执行命令查看节点信息
[root@localhost apache-zookeeper-3.5.8-bin]# ./bin/zkCli.sh -server 192.168.40.147:2181
[zk: 192.168.40.147:2181(CONNECTED) 0] ls /brokers/ids
[0, 1, 2]
其中 [0,1,2] 代表的就是 kafka 的三个节点。
Spring 集成 Kafka
引入 pom 依赖:
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>
配置 application.yml
spring:
application:
name: kafka-test
kafka:
# Kafka 集群配置
bootstrap-servers: 192.168.40.160:9092,192.168.40.161:9092,192.168.40.162:9092
# 生产者配置
producer:
# 设置大于0的值,则客户端会将发送失败的记录重新发送
retries: 3
# 批次大小 16k
batch-size: 16384
# 缓存区大小 32M
buffer-memory: 33554432
# 指定消息key和消息体的编解码方式
key-serializer: org.apache.kafka.common.serialization.StringSerializer
value-serializer: org.apache.kafka.common.serialization.StringSerializer
acks: 1
# 消费者配置
consumer:
# 关闭自动提交
enable-auto-commit: false
# 消费者组
group-id: kafka-test
# 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
auto-offset-reset: earliest
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
listener:
# 当每一条记录被消费者监听器(ListenerConsumer)处理之后提交
# RECORD
# 当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后提交
# BATCH
# 当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后,距离上次提交时间大于TIME时提交
# TIME
# 当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后,被处理record数量大于等于COUNT时提交
# COUNT
# TIME | COUNT 有一个条件满足时提交
# COUNT_TIME
# 当每一批poll()的数据被消费者监听器(ListenerConsumer)处理之后, 手动调用Acknowledgment.acknowledge()后提交
# MANUAL
# 手动调用Acknowledgment.acknowledge()后立即提交,一般使用这种
# MANUAL_IMMEDIATE
ack-mode: manual_immediate
创建消息生产者:
@RestController
@RequestMapping("/producer")
public class TestProducer {
@Resource
private KafkaTemplate<String, String> kafkaTemplate;
/**
* 发送kafka消息
* @param msg
* @return
*/
@GetMapping("/send/{msg}")
public String send(@PathVariable String msg){
kafkaTemplate.send(KafkaTopics.TEST_TOPIC, msg);
return "发送成功";
}
}
创建消息消费者:
@Component
public class TestConsumer {
/**
* kafka 监听器,topic为 test_topic, 消费者组为 kafka-test
* @param consumerRecord
* @param ack
*/
@KafkaListener(topics = KafkaTopics.TEST_TOPIC, groupId = "kafka-test")
public void receive(ConsumerRecord<String, String> consumerRecord, Acknowledgment ack){
String msg = consumerRecord.value();
System.out.println(msg);
System.out.println(consumerRecord);
ack.acknowledge();
}
}
调用接口测试:
http://127.0.0.1:8080/producer/send/hello