Linux安装部署集群化软件Kafka

目录

1.下载解压Kafka

2.编辑配置文件

3.启动Kafka

4.测试Kafka是否能正常使用

1.下载解压Kafka

1.下载Kafka安装包并解压到/export/server目录下

wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/

2.构建软连接 

ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

 2.编辑配置文件

1.编辑node1虚拟机上配置文件

vim /export/server/kafka/config/server.properties

        没有行号的话可以在命令模式下输入:set nu 显示行号 

指定Kafka的id

指定Kafka的绑定监听的地址，输入主机名

指定Kafka数据的位置

指定Zookeeper的三个节点，添加三台虚拟机zookeeper的2181端口号

2.将node1的kafka的相关文件共享到node2和node3

scp -r kafka_2.12-2.4.1 node 2:`pwd`/

scp -r kafka_2.12-2.4.1 node 3:`pwd`/

3.构建node2和node3上的kafka软连接（与node1操作相同）

ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

4.修改node2和node3的kafka配置文件中的id和监听地址listeners修改为本机的主机名

（由于文件由node1共享到node2和node3上的，所以后两处相同地方不用修改）

3.启动Kafka

启动之前需要保证zookeeper已经启动

1.前台启动（临时需要用）

        （1）进入Kafka的bin目录执行启动文件,需要加上上一步修改好的配置文件

cd /export/server/kafka/bin
./kafka-server-start.sh /export/server/kafka/config/server.properties

        （2）另外两台服务器node2和node3执行相同操作启动 

2.后台启动（长期稳定的使用）

        （1）首先在node1上输入命令执行

nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties  2>&1 >> /export/server/kafka/kafka-server.log &

        （2）在kafka文件夹下跟踪文件的更改

tail -f kafka-server.log

        （3）node2和node3执行启动命令

4.测试Kafka是否能正常使用

1.创建一个主题

/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test

2.运行测试

#打开一个终端页面，启动一个模拟的数据生产者

/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh  --broker-list node1:9092 --topic test

#再打开一个新的终端页面，在启动一个模拟的数据消费者

/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

3.在生产者页面输入消息队列，在消费者页面可以获取对应的数据，表示Kafka安装成功