kafka的安装

准备

1、三台虚拟机（必须）

2、三台虚拟机都需要装有jdk（必须）

jdk的安装

3、三台虚拟机都需要有zookeeper（必须）

zookeeper的安装

4、vim安装 可以看配置文件效果更好（非必须）

vim的安装

1、下载

1.1、官网下载地址

https://www.apache.org/dyn/closer.cgi?path=/kafka/2.4.1/kafka_2.11-2.4.1.tgz

1.2、百度网盘下载地址

链接：https://pan.baidu.com/s/1HL3kuSocJT-zxjiniNeyQQ 
提取码：2mqh

2、新建文件夹

在三台机器上都输入指令

 cd /usr/local/

 mkdir kafka

cd kafka

3、上传/解压(以下配置为一台机器)

上传 这里我用了堡塔(参考这篇文章 的软件jdk安装及堡塔软件的安装)，把刚刚下载的文件上传到kafka下

3.1、上传

3.2、解压\重命名

解压

 tar -zxvf kafka_2.11-2.4.1.tgz

重命名

mv kafka_2.11-2.4.1 kafka

ll

cd kafka

4、配置 配置文件

4.1、进入配置文件目录并 编辑

进入

cd /usr/local/kafka/kafka/config/

编辑

vim server.properties

第一台机器

# 实例id不可以重复
broker.id=0
# 配置kafka的host和port 
# 格式 listeners=PLAINTEXT://当前主机ip:端口号
listeners=PLAINTEXT://192.168.73.139:9092
# kafka数据的存放目录
log.dirs=/usr/local/kafka/kafka/logs
# zookeeper集群的ip和端口，用英文逗号进行分隔
zookeeper.connect=192.168.73.139:2181,192.168.73.140:2182,192.168.73.141:2183
# 在配置文件中添加如下配置，表示允许删除topic
delete.topic.enable=true

4.2、修改内存大小

 cd /usr/local/kafka/kafka/bin/

 vim kafka-server-start.sh

:wq 保存退出

5、发送给另外两个虚拟机

scp -r /usr/local/kafka/ root@192.168.73.140:/usr/local/kafka/

敲完命令后输入密码就发送成功

scp -r /usr/local/kafka/ root@192.168.73.141:/usr/local/kafka/

敲完命令后输入密码就发送成功

:wq 保存退出
第二台机器

# 实例id不可以重复
broker.id=1
# 配置kafka的host和port 
# 格式 listeners=PLAINTEXT://当前主机ip:端口号
listeners=PLAINTEXT://192.168.73.140:9093
# kafka数据的存放目录
log.dirs=/usr/local/kafka/kafka/logs
# zookeeper集群的ip和端口，用英文逗号进行分隔
zookeeper.connect=192.168.73.139:2181,192.168.73.140:2182,192.168.73.141:2183
# 在配置文件中添加如下配置，表示允许删除topic
delete.topic.enable=true

:wq 保存退出
第三台机器

# 实例id不可以重复
broker.id=2
# 配置kafka的host和port 
# 格式 listeners=PLAINTEXT://当前主机ip:端口号
listeners=PLAINTEXT://192.168.73.141:9094
# kafka数据的存放目录
log.dirs=/usr/local/kafka/kafka/logs
# zookeeper集群的ip和端口，用英文逗号进行分隔
zookeeper.connect=192.168.73.139:2181,192.168.73.140:2182,192.168.73.141:2183
# 在配置文件中添加如下配置，表示允许删除topic
delete.topic.enable=true

:wq 保存退出

6、启动

首先 启动 zookeeper
在启动 kafka

6.1 kafka启动命令

cd /usr/local/kafka/kafka/bin

./kafka-server-start.sh -daemon ../config/server.properties

7、执行

7.1 创建主题 first

./kafka-topics.sh --create --zookeeper 192.168.73.139:2181 --replication-factor 2 --partitions 2 --topic first

7.2 启动发送者

./kafka-console-producer.sh --broker-list 192.168.73.139:9092 --topic first

7.2 启动消费者

./kafka-console-consumer.sh --bootstrap-server 192.168.73.139:9092 --from-beginning --topic first

花开一千年,花落一千年,花叶永不见