本地kafka使用教程

最新推荐文章于 2023-12-20 09:29:34 发布

寒川之水

最新推荐文章于 2023-12-20 09:29:34 发布

阅读量1.2k

点赞数 1

文章标签： kafka java 分布式

本文链接：https://blog.csdn.net/weixin_53908881/article/details/129283368

版权

这篇博客提供了本地Kafka的使用教程，包括如何创建生产者和消费者测试代码，以及如何安装和使用Kafka的可视化工具。文章中给出了详细的操作步骤，并附带了相关资源的下载链接。

摘要由CSDN通过智能技术生成

kafka使用教程

入门教程

解压即安装。修改 zookeeper.properties。
D:\user\kafka\kafka_2.13-3.2.1\config将dataDir修改为和压缩文件路径目录下，
ps：D:\user\kafka\Data/zookeeper

启动 zookeeper服务器
进入到D:\user\kafka\kafka_2.13-3.3.1\bin\windows当前目录下进入命令行窗口输入
zookeeper-server-start.bat D:\user\kafka\kafka_2.13-3.3.1\config\zookeeper.properties
千万不要关闭这个窗口，最小化就好

启动kafka
和上面一样重新开启一个命令行窗口
kafka-server-start.bat D:\user\kafka\kafka_2.13-3.3.1\config\server.properties
千万不要关闭这个窗口，最小化就好

# 创建主题
kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1  --topic test
# 查看当前服务器的主题
kafka-topics.bat --list --bootstrap-server 10.1.239.233:19092
# 创建生产者，往指定主题上发消息
kafka-console-producer.bat --broker-list localhost:9092 --topic test

创建消费者，重开窗口
# 消费者
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

关闭
关于Kafka使用的重要提示
现象：在windows的命令行里启动kafka之后，当关闭命令行窗口时，就会强制关闭kafka。这种关闭方式为暴力关闭，很可能会导致kafka无法完成对日志文件的解锁。届时，再次启动kafka的时候，就会提示日志文件被锁，无法成功启动。
方案：将kafka的日志文件全部删除，再次启动即可。
建议：不要暴力关闭kafka，建议通过在命令行执行kafka-server-stop命令来关闭它。
其他：将来在Linux上部署kafka之后，采用后台运行的方式，就会避免这样的问题。

关闭的时候 先关闭kafka服务器 在kafka命令窗口直接ctrl + C 输入Y 即可 然后使用命令关闭zookeeper 即可正常退出 下次也能正常启动
# 关闭kafka服务器
kafka-server-stop.bat
# 关闭zookeeper服务器 
zookeeper-server-stop.bat

生产者测试代码

package com.cludove.ocean.processor.data.kafka;

import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.KafkaException;
import org.apache.kafka.common.errors.RetriableException;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.*;

public class MyProducer {
   
    private final static Logger logger = LoggerFactory.getLogger(MyProducer.class);

    private String TOPIC = "test";
    protected static String IP = "192.168.1.8";
    protected static String PORT = "9092";

    private Properties properties = getProperties();
    private static MyProducer producer = new MyProducer();

    private ObjectMapper mapper = new ObjectMapper();

    public static MyProducer getInstance() {
   
        if (producer == null) {
   
            producer = new MyProducer();
        }
        return producer;
    }

    public void send() {
   
        List<Map<String, String>> list = new ArrayList<>();