Kafka分布式安装配置

一、安装Kafka之前需要先装好zookeeper并启动，Java必须装

二、Kafka安装部署

1.解压Kafka安装包到/opt/module中

tar -zxvf kafka_2.12-2.1.1.tgz -C /opt/module

cd /opt/module

mv kafka_2.12-2.1.1.tgz kafka

2.配置Kafka环境变量，编辑文件/etc/profile,添加内容，输入命令使其生效

vim /etc/profile

添加内容

export KAFKA_HOME=/opt/module/kafka

export PATH=$PATH:$KAFKA_HOME/bin

使配置生效

source /etc/profile

3.配置Kafka配置文件

vim server.properties

添加内容：

broker.id=0

listeners=PLAINTEXT://master:9092

advertised.listeners=PLAINTEXT://master:9092

zookeeper.connect=master:2181,slave1:2181,slave2:2181

4.分发

cd /opt/module

scp -r kafka slave1:/opt/module

scp -r kafka slave2:/opt/module

（分发之后修改配置文件，broker改成1和2，主机名改成对应的主机名）

5.启动服务（三个节点都需要）

kafka-server-start.sh /opt/module/kafka/config/server.properties &

6.查看服务

jps

7.测试

1)在主节点上创建主题TestTopic

kafka-topics.sh

--zookeeper master:2181,slave1:2181,slave2:2181

--topic TestTopic

--replication-factor 1

--partitions 1

--create

(replication副本，partitions分区)

2)在主节点上启动一个生产者

kafka-console-producer.sh

--broker-list master:9092,slave1:9092,slave2:9092

--topic TestTopic

3)在其他两个节点上分别创建消费者

kafka-console-consumer.sh

--bootstrap-server slave1:9092 --topic TestTopic --from-beginning

kafka-console-consumer.sh

--bootstrap-server slave2:9092 --topic TestTopic --from-beginning

4)在主节点生产者命令行输入一段文字

hello world（如果消费者上会出现hello world则成功）