kafka 安装部署(详解)
kafka简介
Kafka是一个分布式流平台。一个分布式的流平台应该包含3点关键的能力:
- 发布和订阅流数据流,类似于消息队列或者是企业消息传递系统
- 以容错的持久化方式存储数据流
- 处理数据流
kafka的应用场景
通常将Kafka用在两类程序:
- 建立实时数据管道,以可靠地在系统或应用程序之间获取数据
- 构建实时流应用程序,以转换或响应数据流
kafka模式介绍
1.生产者消费者
如果基于消息队列来编程,交互模式成为:生产者、消费者模型。
2.消息队列的两种模式:
-
点对点模式:
-
-
每个消息只有一个接收者(Consumer)(即一旦被消费,消息就不再在消息队列中)
-
发送者和接收者间没有依赖性,发送者发送消息之后,不管有没有接收者在运行,都不会影响到发送者下次发送消息;
-
接收者在成功接收消息之后需向队列应答成功,以便消息队列删除当前接收的消息
-
-
发布订阅模式
- 每个消息可以有多个订阅者
- 发布者和订阅者之间有时间上的依赖性。针对某个主题(Topic)的订阅者,它必须创建一个订阅者之后,才能消费发布者的消息。
- 为了消费消息,订阅者需要提前订阅该角色主题,并保持在线运行;
kafka环境搭建(集群)
1.将Kafka的安装包上传到虚拟机,并解压
cd /opt/software/
tar -xvzf kafka_2.12-2.4.1.tgz -C ../opt
cd /opt/kafka_2.12-2.4.1/
2.修改 server.properties
cd /opt/kafka_2.12-2.4.1/config
mkdir ../data
vim server.properties
# 指定broker的id
broker.id=0
# 指定监听地址
listeners=PLAINTEXT://master:9092
# 指定Kafka数据的位置
log.dirs=/opt/kafka_2.12-2.4.1/data
# 配置zk的三个节点
zookeeper.connect=【master主机名】:2181,【slave1主机名】:2181,【slave2主机名】:2181
3.将安装好的kafka复制到另外两台服务器
cd /opt
scp -r kafka_2.12-2.4.1/ slave1:/opt
scp -r kafka_2.12-2.4.1/ slave2:/opt
修改另外两个节点的broker.id分别为1和2
---------master--------------
cd /opt/kafka/config
vim server.properties
broker.id=0
listeners=PLAINTEXT://master:9092
---------slave1--------------
cd /opt/kafka/config
vim server.properties
broker.id=1
listeners=PLAINTEXT://slave1:9092
---------slave2--------------
cd /opt/kafka/config
vim server.properties
broker.id=2
listeners=PLAINTEXT://slave2:9092
4.配置KAFKA_HOME环境变量
vim /etc/profile
export KAFKA_HOME=/opt/kafka_2.12-2.4.1
export PATH=:$PATH:${KAFKA_HOME}
分发到各个节点
scp /etc/profile slave1:/opt
scp /etc/profile slave2:/opt
每个节点加载环境变量
source /etc/profile
5.启动服务器
cd /opt/zookeeper/
# 启动ZooKeeper
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
cd /opt/kafka_2.12-2.4.1
# 启动Kafka
nohup bin/kafka-server-start.sh config/server.properties &
↑或者↓
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.propertie
# 测试Kafka集群是否启动成功
bin/kafka-topics.sh --bootstrap-server master:9092 --list
- nohup命令详解:
-
- nohup 英文全称 no hang up(不挂起),用于在系统后台不挂断地运行命令,退出终端不会影响程序的运行。
-
- nohup 命令,在默认情况下(非重定向时),会输出一个名叫 nohup.out 的文件到当前目录下,如果当前目录的 nohup.out 文件不可写,输出重定向到 $HOME/nohup.out 文件中。
- nohup 【要执行的命令】【一些参数,可以知道输出文件】【&:让命令在后台执行,终端退出后命令仍旧执行】
kafka命令集:
1.启动kafka
nohup bin/kafka-server-start.sh config/server.properties &
或者
kafka-server-start.sh -daemon /opt/kafka/config/server.properties
2.创建topic
Kafka中所有的消息都是保存在主题中,要生产消息到Kafka,首先必须要有一个确定的主题。
# 创建名为test的主题
bin/kafka-topics.sh --create --bootstrap-server master:9092 --topic test
# 查看目前Kafka中的主题
bin/kafka-topics.sh --list --bootstrap-server master:9092
3.生产消息到Kafka
使用Kafka内置的测试程序,生产一些消息到Kafka的test主题中。
bin/kafka-console-producer.sh --broker-list master:9092 --topic test
4.从Kafka消费消息
使用下面的命令来消费 test 主题中的消息。
bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic test --from-beginning