Kerberos安全认证-连载7-大数据技术组件之搭建Kafka集群

目录

1. 节点划分

2. 安装配置Kafka

​​​​​​​3. Kafka命令操作

---

技术连载系列，前面内容请参考前面连载6内容:https://blog.csdn.net/qq_32020645/article/details/131081246

​​​​​​​1. 节点划分

这里选择Kafka版本为3.3.1,对应的搭建节点如下：

节点IP	节点名称	Kafka服务
192.168.179.4	node1	kafka broker
192.168.179.5	node2	kafka broker
192.168.179.6	node3	kafka broker

​​​​​​​2. 安装配置Kafka

1) 上传解压

kafka安装包下载地址:https://download.csdn.net/download/qq_32020645/87873873

[root@node1 software]# tar -zxvf ./kafka_2.12-3.3.1.tgz

2) 配置Kafka环境变量

# 在node1节点上编辑profile文件，vim /etc/profile export KAFKA_HOME=/software/kafka_2.12-3.3.1/ export PATH=$PATH:$KAFKA_HOME/bin #使环境变量生效 source /etc/profile

3) 配置Kafka

在node1节点上配置Kafka，进入$KAFKA_HOME/config中修改server.properties，修改内容如下：

broker.id=0     #注意：这里要唯一的Integer类型 log.dirs=/kafka-logs    #真实数据存储的位置 zookeeper.connect=node3:2181,node4:2181,node5:2181  #zookeeper集群

4) 将以上配置发送到node2，node3节点上

[root@node1 software]# scp -r /software/kafka_2.12-3.3.1 node2:/software/ [root@node1 software]# scp -r /software/kafka_2.12-3.3.1 node3:/software/

发送完成后，在node2、node3节点上配置Kafka的环境变量。

export KAFKA_HOME=/software/kafka_2.12-3.3.1/ export PATH=$PATH:$KAFKA_HOME/bin #使环境变量生效 source /etc/profile

5) 修改node2,node3节点上的server.properties文件

node2、node3节点修改$KAFKA_HOME/config/server.properties文件中的broker.id，node2中修改为1，node3节点修改为2。

6) 创建Kafka启动脚本

在node1,node2,node3节点$KAFKA_HOME/bin路径中编写Kafka启动脚本“startKafka.sh”，内容如下：

nohup /software/kafka_2.12-3.3.1/bin/kafka-server-start.sh /software/kafka_2.12-3.3.1/config/server.properties > /software/kafka_2.12-3.3.1/kafkalog.txt 2>&1 &

node1,node2,node3节点配置完成后修改“startKafka.sh”脚本执行权限：

chmod +x ./startKafka.sh

7) 启动Kafka集群

在node1,node2,node3三台节点上分别执行startKafka.sh脚本，启动Kafka。

[root@node1 ~]# startKafka.sh [root@node2 ~]# startKafka.sh [root@node3 ~]# startKafka.sh

​​​​​​​3. Kafka命令操作

在Kafka 任意节点上操作如下命令测试Kafka。

#创建topic kafka-topics.sh --create --bootstrap-server node1:9092,node2:9092,node3:9092 --topic testtopic  --partitions 3 --replication-factor 3 #查看集群中的topic kafka-topics.sh  --list --bootstrap-server node1:9092,node2:9092,node3:9092 #console控制台向topic 中生产数据 kafka-console-producer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic testtopic #console控制台消费topic中的数据 kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic testtopic 注意：以上创建好之后，可以向Kafka topic中写入数据测试Kafka是否正常。 #删除topic kafka-topics.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --delete --topic testtopic

---

欢迎点赞、评论、收藏，关注IT贫道，获取IT技术知识！