搭建一套大数据框架——kafka篇

谁能凭爱意将富士山私有丶

已于 2024-09-29 11:46:49 修改

阅读量60

点赞数

文章标签：大数据 kafka 分布式

于 2024-09-29 11:25:30 首次发布

本文链接：https://blog.csdn.net/qq_18138507/article/details/142631641

版权

一、使用traft协议安装kafka集群

1、下载压缩包

wget https://downloads.apache.org/kafka/3.8.0/kafka_2.13-3.8.0.tgz

2、解压

tar -zxvf kafka_2.13-3.8.0.tgz -C /portal/

3、创建软连接

ln -s kafka_2.13.-3.8.0 kafka

4、修改环境变量

export PATH=$PATH:/portal/kafka/bin

5、修改traft的配置文件

vim /portal/kafka/config/kraft/server.properties

192.168.1.41

process.roles=broker,controller
node.id=1
controller.quorum.voters=1@192.168.1.41:9093,2@192.168.1.42:9093,3@192.168.1.43:9093,4@192.168.1.44:9093
advertised.listeners=PLAINTEXT://192.168.1.41:9092
log.dirs=/data/logs/kafka

192.168.1.42

process.roles=broker,controller
node.id=2
controller.quorum.voters=1@192.168.1.41:9093,2@192.168.1.42:9093,3@192.168.1.43:9093,4@192.168.1.44:9093
advertised.listeners=PLAINTEXT://192.168.1.42:9092
log.dirs=/data/logs/kafka

192.168.1.43

process.roles=broker,controller
node.id=3
controller.quorum.voters=1@192.168.1.41:9093,2@192.168.1.42:9093,3@192.168.1.43:9093,4@192.168.1.44:9093
advertised.listeners=PLAINTEXT://192.168.1.43:9092
log.dirs=/data/logs/kafka

192.168.1.44

process.roles=broker,controller
node.id=4
controller.quorum.voters=1@192.168.1.41:9093,2@192.168.1.42:9093,3@192.168.1.43:9093,4@192.168.1.44:9093
advertised.listeners=PLAINTEXT://192.168.1.44:9092
log.dirs=/data/logs/kafka

6、初次启动需初始化kafka

kafka-storage.sh random-uuid

/portal/kafka/bin/kafka-storage.sh format -t 75d09fc1-3e91-4fa3-8752-639d8e158c6b -c /portal/kafka/config/kraft/server.properties

7、启动kafka

##启动方式一
/portal/kafka/bin/kafka-server-start.sh /portal/kafka/config/kraft/server.properties
##启动方式二
（推荐）
/portal/kafka/bin/kafka-server-start.sh -daemon /portal/kafka/config/kraft/server.properties

8、常用命令

##查看端口号
netstat -tulnp | grep 9093
##创建topic
kafka-topics.sh --bootstrap-server 192.168.1.41:9092 --create --topic topic-www-nginx-log --partitions 4 --replication-factor 2
##查看kafka中的10条消息
kafka-console-consumer.sh --bootstrap-server 192.168.1.41:9092 --topic topic-www-nginx-log --from-beginning --max-messages 10
##验证 Kafka 主题和消息：
kafka-topics.sh --describe --topic topic-www-nginx-log --bootstrap-server 192.168.1.41:9092
##查看消息消费
kafka-consumer-groups.sh --bootstrap-server 192.168.1.41:9092 --describe --group group_clickhouse