第1章 Kafka概述
1.1 消息队列(Message Queue)
1. 消息队列的两种模式
1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)
消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。
消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但是对一个消息而言,只会有一个消费者可以消费。
2)发布/订阅模式(一对多,消费者消费数据之后不会清除消息)
消息生产者(发布)将消息发布到topic中,同时有多个消息消费者(订阅)消费该消息。和点对点方式不同,发布到topic的消息会被所有订阅者消费。
1.2 定义
Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。
1.3 Kafka基础架构
(1)Producer :消息生产者,就是向kafka broker发消息的客户端;
(2)Consumer :消息消费者,向kafka broker取消息的客户端;
(3)Consumer Group (CG):消费者组,由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
(4)Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
(5)Topic :可以理解为一个队列,生产者和消费者面向的都是一个topic;
(6)Partition:为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partition是一个有序的队列;
(7)Replica:副本,为保证集群中的某个节点发生故障时,该节点上的partition数据不丢失,且kafka仍然能够继续工作,kafka提供了副本机制,一个topic的每个分区都有若干个副本,一个leader和若干个follower。
(8)leader:每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是leader。
(9)follower:每个分区多个副本中的“从”,实时从leader中同步数据,保持和leader数据的同步。leader发生故障时,某个follower会成为新的leader。
第2章 Kafka快速入门
2.1 安装部署
1 集群规划
hadoop102 | hadoop103 | hadoop104 |
zookeeper | zookeeper | zookeeper |
kafka | kafka | kafka |
2 tar包下载
链接:https://pan.baidu.com/s/1QUqclSl_IBtYJtsFbN6dEA?pwd=o7o1
提取码:o7o1
3 集群部署
1)解压安装包
tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/
2)修改解压后的文件名称
mv kafka_2.11-0.11.0.0/ kafka
3)在/opt/module/kafka目录下创建logs文件夹
kafka]$ mkdir logs
4)修改配置文件
vim /opt/module/kafka/config/server.properties
#broker的全局唯一编号,不能重复
broker.id=2
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#副本数量
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
#segment文件保留的最长时间,超时将被删除
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
#超时时间
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
5)配置环境变量
sudo vim /etc/profile.d/my_env.sh
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile
6)分发kafka、环境变量、修改server.properties中的
hadoop103 broker.id=3
hadoop104 broker.id=4
module]$ xsync kafka/
sudo xsync /etc/profile.d/my_env.sh
vim /opt/module/kafka/config/server.properties
7)启动集群
注意:kafka依赖zookeeper运行,先启动zookeeper
依次在hadoop102、hadoop103、hadoop104节点上启动kafka
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
8)关闭集群
kafka-server-stop.sh
9)kafka群起脚本
for i in `cat /opt/module/hadoop-3.1.3/etc/hadoop/workers`
do
echo "========== $i =========="
ssh $i '/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties'
echo $?
done
2.2 Kafka命令行操作
1)查看当前服务器中的所有topic
kafka-topics.sh --zookeeper hadoop102:2181/kafka --list
2)创建topic
kafka-topics.sh --zookeeper hadoop102:2181/kafka \
--create --replication-factor 2 --partitions 2 --topic first
选项说明:
--topic 定义topic名
--replication-factor 定义副本数
--partitions 定义分区数
3)查看Topic的详细信息
kafka-topics.sh --zookeeper hadoop102:2181/kafka \
--describe --topic first
4)发送消息
kafka-console-producer.sh \
--broker-list hadoop102:9092 --topic first
5)消费消息
kafka-console-consumer.sh \
--bootstrap-server hadoop102:9092 --from-beginning --topic first
kafka-console-consumer.sh \
--bootstrap-server hadoop102:9092 [--from-beginning] --topic first
[--from-beginning]:会把主题中以往所有的数据都读取出来。
6)修改分区数
kafka-topics.sh --zookeeper hadoop102:2181/kafka --alter --topic first --partitions 3
7)删除topic
kafka-topics.sh --zookeeper hadoop102:2181/kafka \
--delete --topic first
需要server.properties中设置delete.topic.enable=true否则只是标记删除。
第3章 Kafka架构深入
1 Kafka工作流程及文件存储机制
Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。
topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个offset,以便出错恢复时,从上次的位置继续消费。
由于生产者生产的消息会不断追加到log文件末尾,为防止log文件过大导致数据定位效率低下,Kafka采取了分片和索引机制,将每个partition分为多个segment。每个segment对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下,该文件夹的命名规则为:topic名称+分区序号。例如