kafka在Linux(Centos7)集群下的安装

下载安装包

• scala -version :查看scala的版本

• 官网下载对应安装包:DOWNLOAD

安装包上传到Linux

这步用Xftp7会方便很多

• 在/usr/local目录下新建kafka目录

[root@master ~]# cd /usr/local
[root@master local]# mkdir kafka

• 在kafka目录新建kafka-logs文件夹

[root@master local]# cd kafka
[root@master kafka]# mkdir kafka-logs

• 在kafka目录上传安装包kafka_2.12-3.3.1.tgz(我用Xftp7直接拖拽)

解压安装包

[root@master kafka]# cd /usr/local
[root@master kafka]# tar -zxvf kafka_2.12-3.3.1.tgz

配置server.properties

• 进入解压后的文件夹中的config文件夹

[root@master kafka]# cd kafka_2.12-3.3.1/config

• 编辑server.properties

[root@master config]# vi server.properties

下面这些地方改成自己虚拟机的ip地址


按i之后修改，修改好后按Esc : wq保存退出

开启kafka

• 先开启zookeeper(另开一个终端)

[root@master kafka_2.12-3.3.1]# bin/zookeeper-server-start.sh config/zookeeper.properties  &

• 再开启kafka(再另开一个终端)

[root@master kafka_2.12-3.3.1]# bin/kafka-server-start.sh config/server.properties &

• 用jps查看进程
  

topic相关

• 新建topic: topictest(注：master是集群主机名，报错换成localhost试试)

[root@master kafka_2.12-3.3.1]#   bin/kafka-topics.sh --create --bootstrap-server master:9092 --replication-factor 1 --partitions 1 --topic topictest

• 查看topic 列表

[root@master kafka_2.12-3.3.1]# bin/kafka-topics.sh --list --bootstrap-server master:9092

• 启动命令行生产者程序（测试）(另开一个终端)

[root@master kafka_2.12-3.3.1]# bin/kafka-console-producer.sh  --broker-list  master:9092  --topic  topictest

输入一些单词:

• 启动命令行消费者程序（测试）(再另开一个终端)

[root@master kafka_2.12-3.3.1]# bin/kafka-console-consumer.sh  --bootstrap-server   master:9092  --topic  topictest  --from-beginning

成功收到消息: