Linux/CentOS安装Kafka及搭建Kafka集群

下载地址 :

https://archive.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz

在/home/dt目录下创建kafka文件夹，将下载的安装包传入文件夹并解压。

tar -zxvf kafka_2.13-2.8.0.tgz

解压后目录如下

输入“cd config”命令进入配置文件夹，“vi server.properties”修改“server.properties”文件。

注 : 搭建集群broker.id不能重复，可以设置 1/2/3

      Host.name 为当前服务器ip

      zookeeper.connect 配置为zookeeper集群环境

 

进入到bin目录下执行命令启动kafka(3台服务器都要执行)

./kafka-server-start.sh -daemon ../config/server.properties

测试集群连接

Kafka启动后，进入到bin目录下后创建topic为testkafka

./kafka-topics.sh --create --zookeeper 服务器ip:2181 --replication-factor 3 --partitions 2 --topic testkafka

在创建好的topic下生产信息

./kafka-console-producer.sh --broker-list 服务器ip:9092 --topic testkafka

切换到另一台服务器上，进入到kafka的bin目录下输入命令进行消费数据

./kafka-console-consumer.sh --bootstrap-server 服务器ip:9092 --topic testkafka –from-beginning

关闭服务

./kafka-server-stop.sh