Kafka

第1章 Kafka概述

1.1 消息队列（Message Queue）

1. 消息队列的两种模式

1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）

消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。

消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息）

消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。

1.2 定义

Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。

1.3 Kafka基础架构 

（1）Producer ：消息生产者，就是向kafka broker发消息的客户端；

（2）Consumer ：消息消费者，向kafka broker取消息的客户端；

（3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

（4）Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。

（5）Topic ：可以理解为一个队列，生产者和消费者面向的都是一个topic；

（6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列；

（7）Replica：副本，为保证集群中的某个节点发生故障时，该节点上的partition数据不丢失，且kafka仍然能够继续工作，kafka提供了副本机制，一个topic的每个分区都有若干个副本，一个leader和若干个follower。

（8）leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是leader。

（9）follower：每个分区多个副本中的“从”，实时从leader中同步数据，保持和leader数据的同步。leader发生故障时，某个follower会成为新的leader。

第2章 Kafka快速入门

2.1 安装部署

1 集群规划

hadoop102	hadoop103	hadoop104
zookeeper	zookeeper	zookeeper
kafka	kafka	kafka

2 tar包下载

Apache Kafka

 链接：https://pan.baidu.com/s/1QUqclSl_IBtYJtsFbN6dEA?pwd=o7o1 
提取码：o7o1

3 集群部署 

1）解压安装包

 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/

2）修改解压后的文件名称

mv kafka_2.11-0.11.0.0/ kafka

3）在/opt/module/kafka目录下创建logs文件夹

kafka]$ mkdir logs

4）修改配置文件

vim /opt/module/kafka/config/server.properties 

#broker的全局唯一编号，不能重复
broker.id=2
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#副本数量
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
#超时时间
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

5）配置环境变量

sudo vim /etc/profile.d/my_env.sh 

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

6）分发kafka、环境变量、修改server.properties中的

hadoop103  broker.id=3 
hadoop104  broker.id=4 

module]$ xsync kafka/

sudo xsync /etc/profile.d/my_env.sh 

vim /opt/module/kafka/config/server.properties 

7）启动集群

注意：kafka依赖zookeeper运行，先启动zookeeper

依次在hadoop102、hadoop103、hadoop104节点上启动kafka
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

8）关闭集群

kafka-server-stop.sh

9）kafka群起脚本 

for i in `cat /opt/module/hadoop-3.1.3/etc/hadoop/workers`
do
echo "========== $i ==========" 
ssh $i '/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties'
echo $?
done

2.2 Kafka命令行操作

1）查看当前服务器中的所有topic

kafka-topics.sh --zookeeper hadoop102:2181/kafka --list

2）创建topic

kafka-topics.sh --zookeeper hadoop102:2181/kafka \
--create --replication-factor 2 --partitions 2 --topic first

选项说明：

--topic 定义topic名

--replication-factor  定义副本数

--partitions  定义分区数

3）查看Topic的详细信息

kafka-topics.sh --zookeeper hadoop102:2181/kafka \
--describe --topic first

4）发送消息

kafka-console-producer.sh \
--broker-list hadoop102:9092 --topic first

5）消费消息

kafka-console-consumer.sh \
--bootstrap-server hadoop102:9092 --from-beginning --topic first

kafka-console-consumer.sh \
--bootstrap-server hadoop102:9092 [--from-beginning] --topic first


[--from-beginning]：会把主题中以往所有的数据都读取出来。

6）修改分区数

kafka-topics.sh --zookeeper hadoop102:2181/kafka --alter --topic first --partitions 3

7）删除topic

kafka-topics.sh --zookeeper hadoop102:2181/kafka \
--delete --topic first
需要server.properties中设置delete.topic.enable=true否则只是标记删除。

第3章 Kafka架构深入

1 Kafka工作流程及文件存储机制

Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。

topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个offset，以便出错恢复时，从上次的位置继续消费。

由于生产者生产的消息会不断追加到log文件末尾，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制，将每个partition分为多个segment。每个segment对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称+分区序号。例如