kafka使用教程
入门教程
解压即安装。修改 zookeeper.properties。
D:\user\kafka\kafka_2.13-3.2.1\config将dataDir修改为和压缩文件路径目录下,
ps:D:\user\kafka\Data/zookeeper
启动 zookeeper服务器
进入到D:\user\kafka\kafka_2.13-3.3.1\bin\windows当前目录下进入命令行窗口输入
zookeeper-server-start.bat D:\user\kafka\kafka_2.13-3.3.1\config\zookeeper.properties
千万不要关闭这个窗口,最小化就好
启动kafka
和上面一样重新开启一个命令行窗口
kafka-server-start.bat D:\user\kafka\kafka_2.13-3.3.1\config\server.properties
千万不要关闭这个窗口,最小化就好
# 创建主题
kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
# 查看当前服务器的主题
kafka-topics.bat --list --bootstrap-server 10.1.239.233:19092
# 创建生产者,往指定主题上发消息
kafka-console-producer.bat --broker-list localhost:9092 --topic test
创建消费者,重开窗口
# 消费者
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
关闭
关于Kafka使用的重要提示
现象:在windows的命令行里启动kafka之后,当关闭命令行窗口时,就会强制关闭kafka。这种关闭方式为暴力关闭,很可能会导致kafka无法完成对日志文件的解锁。届时,再次启动kafka的时候,就会提示日志文件被锁,无法成功启动。
方案:将kafka的日志文件全部删除,再次启动即可。
建议:不要暴力关闭kafka,建议通过在命令行执行kafka-server-stop命令来关闭它。
其他:将来在Linux上部署kafka之后,采用后台运行的方式,就会避免这样的问题。
关闭的时候 先关闭kafka服务器 在kafka命令窗口直接ctrl + C 输入Y 即可 然后使用命令关闭zookeeper 即可正常退出 下次也能正常启动
# 关闭kafka服务器
kafka-server-stop.bat
# 关闭zookeeper服务器
zookeeper-server-stop.bat
生产者测试代码
package com.cludove.ocean.processor.data.kafka;
import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.KafkaException;
import org.apache.kafka.common.errors.RetriableException;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.util.*;
public class MyProducer {
private final static Logger logger = LoggerFactory.getLogger(MyProducer.class);
private String TOPIC = "test";
protected static String IP = "192.168.1.8";
protected static String PORT = "9092";
private Properties properties = getProperties();
private static MyProducer producer = new MyProducer();
private ObjectMapper mapper = new ObjectMapper();
public static MyProducer getInstance() {
if (producer == null) {
producer = new MyProducer();
}
return producer;
}
public void send() {
List<Map<String, String>> list = new ArrayList<>();