目录
1.下载解压Kafka
1.下载Kafka安装包并解压到/export/server目录下
wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/
2.构建软连接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
2.编辑配置文件
1.编辑node1虚拟机上配置文件
vim /export/server/kafka/config/server.properties
没有行号的话可以在命令模式下输入:set nu 显示行号
指定Kafka的id
指定Kafka的绑定监听的地址,输入主机名
指定Kafka数据的位置
指定Zookeeper的三个节点,添加三台虚拟机zookeeper的2181端口号
2.将node1的kafka的相关文件共享到node2和node3
scp -r kafka_2.12-2.4.1 node 2:`pwd`/
scp -r kafka_2.12-2.4.1 node 3:`pwd`/
3.构建node2和node3上的kafka软连接(与node1操作相同)
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
4.修改node2和node3的kafka配置文件中的id和监听地址listeners修改为本机的主机名
(由于文件由node1共享到node2和node3上的,所以后两处相同地方不用修改)
3.启动Kafka
启动之前需要保证zookeeper已经启动
1.前台启动(临时需要用)
(1)进入Kafka的bin目录执行启动文件,需要加上上一步修改好的配置文件
cd /export/server/kafka/bin
./kafka-server-start.sh /export/server/kafka/config/server.properties
(2)另外两台服务器node2和node3执行相同操作启动
2.后台启动(长期稳定的使用)
(1)首先在node1上输入命令执行
nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &
(2)在kafka文件夹下跟踪文件的更改
tail -f kafka-server.log
(3)node2和node3执行启动命令
4.测试Kafka是否能正常使用
1.创建一个主题
/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test
2.运行测试
#打开一个终端页面,启动一个模拟的数据生产者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
#再打开一个新的终端页面,在启动一个模拟的数据消费者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning
3.在生产者页面输入消息队列,在消费者页面可以获取对应的数据,表示Kafka安装成功