【kafka集群搭建+监控+启动守护线程超详细】

最新推荐文章于 2024-05-29 11:20:03 发布

长安不问

最新推荐文章于 2024-05-29 11:20:03 发布

阅读量2.5k

点赞数 1

分类专栏： kafka 文章标签： kafka 分布式 big data

本文链接：https://blog.csdn.net/weixin_45273750/article/details/121996645

版权

kafka

1.下载

链接：https://pan.baidu.com/s/1XVFekzTc9W4nUkiWQnIi4A
提取码：roik

2.安装

2.1解压

tar -zxvf kafka_2.12-2.0.0.tgz 
mv kafka_2.12-2.0.0 kafka

2.2 配置环境变量

vi /etc/profile

内容如下：

export KAFKA_HOME=/usr/local/software/kafka
export PATH=$PATH:$KAFKA_HOME/bin

配置文件生效：

source /etc/profile

2.3 修改配置文件

创建日志目录

cd /usr/local/software/kafka
mkdir kafka-logs
chmod 777 kafka-logs

.进入/usr/local/software/kafka/config目录，修改配置文件server.properties
```
vi server.properties
```

内容如下：

broker.id=1 # 唯一ID同一集群下broker.id不能重复
listeners=PLAINTEXT://10.202.80.196:9092 #ލ监听地址
log.dirs=/usr/local/software/kafka/kafka-logs # 日志目录
log.retention.hours=168 # kafka数据保留时间单位为hour 默认168小时 即7天
log.retention.bytes=1073741824 #kafka数据量最大值，超出范围自动清理，和log.retention.hours配置使用，注意最大值设定不能超过磁盘大小
zookeeper.connect=10.202.80.196:2181 #zookeeper连接的ip以及port，多个以逗号分割

启动kafka

zkServer.sh start #先开启zookeeper服务
kafka-server-start.sh config/server.properties

查看进程：

关闭kafka
```
kafka-server-stop.sh
```

3.命令

创建主题

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test01
#主题名 test01 3个分区

列出所有主题：

kafka-topics.sh --list --zookeeper localhost:2181

查看topic的相关信息
```
kafka-topics.sh --describe --zookeeper localhost:2181 --topic test01
```
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-s8585Ggd-1639724429219)(C:\Users\ZYZ\AppData\Roaming\Typora\typora-user-images\image-20211201171237876.png)]

简单的发布订阅

要先开启zookeeper服务和kafka

kafka-console-producer.sh --broker-list 10.202.80.196:9092 --topi

最低0.47元/天解锁文章