linux虚拟机搭建kafka(单节点、使用kafka自带zookeeper)

本文使用kafka单节点安装及配置,并使用kafka自带的zookeeper。一般kafka需要起三个kafka构成集群,可以连单独的zookeeper,本文不涉及。

一、kafka下载解压

  1. 安装包下载地址:https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz

  1. 将安装包上传到/opt/module文件夹下,解压文件

tar -zxvf kafka_2.12-2.5.0.tgz

将解压后的文件改名为kafka,方便后面识别

二、修改zookeeper配置

kafka集成了zookeeper,可以直接使用,不需而外安装zookeeper。

修改kafka/bin/config下的zookeeper.properties文件

vim kafka/config/zookeeper.properties
dataDir=/opt/module/kafka
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=100
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
# admin.serverPort=8080

修改解压后的路径和端口

三、修改kafka配置文件server.properties

vim kafka/config/server.properties
broker.id=0
listeners=PLAINTEXT://192.168.11.111:9092
advertised.listeners=PLAINTEXT://192.168.11.111:9092
log.dirs=/opt/module/kafka/kafka-logs
zookeeper.connect=192.168.11.111:2181
host.name=192.168.11.111

四、启动zookeeper

进入kafaka/bin目录下

./zookeeper-server-start.sh ../config/zookeeper.properties

五、启动kafka

进入kafka/bin目录下

./kafka-server-start.sh ../config/server.properties

六、查看kafka是否启动

lsof -i:9092

出现下面截图则kafka已启动

七、kafka命令使用

(1)创建topic

./bin/kafka-topics.sh --create --zookeeper 192.168.11.111:2181, --replication-factor 1 --partitions 2   --topic  studentstopic

(2)查看topic

./bin/kafka-topics.sh --zookeeper  192.168.11.111:2181  --list

(3)写入消息

./bin/kafka-console-producer.sh --broker-list 192.168.11.111:9092 --topic studentstopic

(4)消费消息

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.11.111:9092  --from-beginning --topic studentstopic

八、开启虚拟机防火墙

linux需要开启防火墙,否则可能出现外部连不上虚拟机的kafka的情况。(比如在java使用kakfa)

  1. 查看防火墙状态

systemctl status firewalld

如果显示的是aclive绿色字,则防火墙开启;

显示的是dead,则关闭

  1. 关闭防火墙

systemctl stop firewalld

  • 2
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值