简介
Kafka是一款
分布式的、去中心化的、高吞吐低延迟、订阅模式
的消息队列系统。同RabbitMQ一样,Kafka也是消息队列。不过RabbitMQ多用于后端系统,因其更加专注于消息的延迟和容错。
Kafka多用于大数据体系,因其更加专注于数据的吞吐能力。
Kafka多数都是运行在分布式(集群化)模式下,本文以3台服务器【node1,node2,node3】示例,来完成Kafka集群的安装部署。
安装
提示:
1. Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper
2.本文默认主机名映射已完成(可参考下面Zookeeper部署链接,里面含有主机名映射链接)
JDK安装链接:
Zookeeper部署链接:(文章包含JDK安装链接)
【在node1,node2,node3操作】切换root用户
su - root
【在node1操作】下载并上传Kafka的安装包
wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz
【在node1,node2,node3操作】创建一个用来存放集群化软件的文件夹,建议和Zookeeper放一块(可以和我不一样,后面内容记得修改为自己的路径,我会标红)
mkdir -p /export/server
【在node1操作】解压
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/
【在node1操作】 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
配置
【在node1操作】修改Kafka目录内的config目录内的server.properties
文件
cd /export/server/kafka/config
输入以下内容
# 指定broker的id
broker.id=1
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node1:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181
【在node1操作】将node1的kafka复制到node2和node3
cd /export/server
# 复制到node2同名文件夹
scp -r kafka_2.12-2.4.1 node2:`pwd`/
# 复制到node3同名文件夹
scp -r kafka_2.12-2.4.1 node3:$PWD
#注意:如果出现存储空间不够的问题,可以尝试压缩后把压缩包复制到对应机器的同名文件夹,在对应机器解压。实在不行请增大存储空间。
tar -zcvf kafka.tar.gz kafka_2.12-2.4.1
scp -r kafka.tar.gz node2:$PWD
scp -r kafka.tar.gz node3:$PWD
#解压到当前目录
tar -zxvf kafka.tar.gz
【在node2操作】
# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
cd /export/server/kafka/config
# 指定broker的id
broker.id=2
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node2:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181
【在node3操作】
# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
cd /export/server/kafka/config
# 指定broker的id
broker.id=3
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node3:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181
启动kafka
注意:请先确保Zookeeper已经启动了
/export/server/zookeeper/bin/zkServer.sh start # 启动Zookeeper
/export/server/zookeeper/bin/zkServer.sh stop #关闭Zookeeper
方式1:【前台启动】分别在node1、2、3上执行如下语句
/export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties
方式2:【后台启动】分别在node1、2、3上执行如下语句
nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &
补充:关闭kafka
/export/server/kafka/bin/kafka-server-stop.sh
验证Kafka启动
jps
测试Kafka能否正常使用
创建测试主题
# 在node1执行,创建一个主题
/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test
运行测试,请打开两个node1终端页面,或其他远程登陆中打开2个node1的终端页面
# 打开一个终端页面,启动一个模拟的数据生产者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
# 再打开一个新的终端页面,在启动一个模拟的数据消费者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning
一端输入数据,另一段输出数据。