kafka配置及启动等命令总结

本文详细介绍Kafka的配置步骤,包括server.properties文件的设置、环境变量配置及启动流程。涵盖Zookeeper启动、Kafka服务启动、topic创建与管理等关键操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

kafka配置

1、kafka配置server.properties文件

1.1、进入kafka的config目录下

在这里插入图片描述

1.2、然后进入server.properties进行配置

[root@cjh1 config]# vi ./server.properties

1.3、 通过显示行号进行查找并修改

 :set nu

在这里插入图片描述
然后分别在下面指定行号修改以下内容(137行是最后加上去的,方便删除topic)

36 advertised.listeners=PLAINTEXT://192.168.48.141:9092
60 log.dirs=/opt/bigdata/kafka211/kafka-logs
123 zookeeper.connect=192.168.48.141:2181
137 delete.topic.enable=true

效果图如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、配置kafka环境变量

vi /etc/profile:
export KAFKA_HOME=/opt/bigdata/kafka211
export PATH=$PATH:$KAFKA_HOME/bin

kafka启动

ps:启动kafka前需要启动zookeeper

1、启动zookeeper

[root@cjh1 config]# zkServer.sh start

2、启动kafka

[root@cjh1 bin]# ./kafka-server-start.sh ../config/server.properties 
# 这是后台启动kafka,两者选其一即可
[root@cjh1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

然后jps查看一下启动的服务

[root@cjh1 bin]# jps
2181 QuorumPeerMain
2872 Kafka
2941 Jps

# 创建topic
[root@cjh1 bin]# ./kafka-topics.sh --create --topic mydemo --zookeeper 192.168.48.141:2181 --partitions 1 --replication-factor 1 
Created topic "mydemo".

# 查看当前kafka中topic列表
[root@cjh1 bin]# kafka-topics.sh --zookeeper 192.168.48.141:2181 --list
mydemo

# 查看topic详细情况
[root@cjh1 bin]# kafka-topics.sh --describe --zookeeper 192.168.48.141:2181 --topic mydemo
Topic:mydemo	PartitionCount:1	ReplicationFactor:1	Configs:
	Topic: mydemo	Partition: 0	Leader: 0	Replicas: 0	Isr: 0

# 启动kafka消费者
[root@cjh1 /]# kafka-console-consumer.sh --bootstrap-server 192.168.48.141:9092 --topic mydemo --from-beginning

# 启动kafka生产者
[root@cjh1 /]# kafka-console-producer.sh --broker-list 192.168.48.141:9092 --topic mydemo

# 查看topic消息数量
[root@cjh1 kafka-logs]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.48.141:9092 --topic mydemo --time -1 --offsets 1
mydemo:0:2

# 删除topic
[root@cjh1 kafka-logs]# kafka-topics.sh --delete --zookeeper 192.168.48.141:2181 --topic mydemo 

ps:删除topic的前提是需要将kafka的消费者和生产者停止。

ps:望多多支持,在下必再接再厉!!!

### 实现Kafka启动配置方法 为了使Kafka能够在操作系统重启后自动运行,可以利用 `Systemd` 来创建并启用服务单元文件。以下是具体的实现方式: #### 创建 Systemd 服务单元文件 在 Linux 系统中,可以通过编辑 `/etc/systemd/system/` 下的服务单元文件来定义 Kafka启动行为。 1. **创建服务文件** 使用文本编辑器(如 `vi` 或 `nano`),创建一个新的服务文件: ```bash sudo nano /etc/systemd/system/kafka.service ``` 2. **填写服务配置内容** 在该文件中输入以下内容: ```ini [Unit] Description=Apache Kafka Service Requires=zookeeper.service After=zookeeper.service network.target [Service] Type=simple User=kafka Group=kafka ExecStart=/path/to/kafka/bin/kafka-server-start.sh /path/to/kafka/config/server.properties ExecStop=/path/to/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target ``` 上述配置中的路径应替换为实际安装 KafkaZookeeper 的位置[^1]。 3. **重新加载 systemd 配置** 修改完成后,执行以下命令刷新 `systemd` 配置: ```bash sudo systemctl daemon-reload ``` 4. **启动并设置开机自启** 执行以下命令启动 Kafka 并将其设为随系统启动启动: ```bash sudo systemctl start kafka sudo systemctl enable kafka ``` #### 处理 Java 路径问题 如果遇到默认路径下找不到 Java 的情况,则需确认环境变量已正确配置。具体操作如下: - 编辑全局或用户的 `.bashrc` 文件,添加以下内容: ```bash export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 export PATH=$JAVA_HOME/bin:$PATH ``` - 加载更改后的配置文件: ```bash source ~/.bashrc ``` 验证是否成功通过以下命令检查版本号: ```bash java -version ``` 上述步骤解决了用户提到的 Java 默认路径缺失的问题。 #### 日志目录初始化 对于基于 KRaft 模式的控制器,在首次启动前需要先格式化日志存储目录。此过程可通过以下脚本完成: ```bash /path/to/kafka/bin/kafka-storage.sh format -t your.cluster.id -c /path/to/kafka/config/kraft/controller.properties ``` 其中 `-t` 参数指定的是集群 ID,必须唯一;`controller.properties` 是用于控制节点的核心参数文件[^2]。 最后按照常规流程开启服务器即可: ```bash /path/to/kafka/bin/kafka-server-start.sh /path/to/kafka/config/server.properties & ``` ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值