Kafka学习笔记_day01

Kafka学习笔记_day01

适用场景：大数据场景

消息队列模式

点对点模式

• 消费者主动拉取数据，消息收到以后清除消息

发布/订阅模式

• 可以存在多个Topic主题
• 消费者消费完数据以后，不删除数据
• 每个消费者相互独立，都可以消费到数据

基础架构

• 内部将一个Topic(主题)分为了多个partition(分区)，并配合分区的设计，在消费者端设计了消费者组的概念，组内的每个消费者并行消费，也就是说同一个组里的消费者不能同时消费同一个分区内的消息。

• 为了提高可用性，为每一个partition增加了若干个副本，即存在Leader和Follower，所有的消息的生产和消费都是基于Leader进行的，当Leader挂掉以后，将选举出新的Leader。

快速入门Kafka

kafka的官网下载地址：https://kafka.apache.org/downloads.html

1）解压下载的tar包：

tar -zxvf xxxx.tgz -C 复制的目录

2）修改解压后的文件名称：

mv kafka_2.12-3.0.0/ kafka

3）进入到kafka的目录下，里面存在三个重要配置的配置文件

• server.properties
• producer.properties
• consumer.properties

其中，对于server.properties配置文件进行修改：

#broker.id 为每一个kafka的唯一标识，不能重复
broker.id = 0
#kafka运行日志（数据）存放的路径，路径不需要重新创建，配置好kafka会自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=opt/module/kafka/datas
#配置连接Zookeeper的集群地址（ps:在zk的根目录下创建/kafka目录，方便进行管理）
zookeeper.connect= 服务器1:2181，服务器2:2181,服务器3:2181/kafka


#其他参数
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数，默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个 segment 文件的大小，默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000

配置完毕以后进入其他服务器进行kafka的分发安装包工作，同时按照上述操作修改其broker.id值，保持其唯一性

#使用脚本xsync进行分发操作
xsync kafka/   

4）配置环境变量

在/etc/profile.d/my_env.sh文件中增加kafka环境变量的配置：

vim /etc/profile.d/my_env.sh

添加以下关于Kafka的环境信息：

# KAFKA_HOME

export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

配置完成以后，进行环境变量的刷新工作

source /etc/profile

同时将环境变量的配置分发到其他节点中，并进行source操作：

xsync /etc/profile.d/my_env.sh
source /etc/profile

此时，kafka的安装及配置工作基本完成。

注意：上面使用的xsnc脚本：

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104[你的集群服务器名称]
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

5）启动Kafka

启动kafka之前，需要先启动Zookeeper集群服务。

#使用zk.sh脚本启动zookeeper集群
zk.sh start

#zk.sh脚本
case $1 in
"start"){
	for i in hadoop102 hadoop103 hadoop104[服务器名称]
	do
		echo  ------------- zookeeper $i 启动 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
	done
}
;;
"stop"){
	for i in hadoop102 hadoop103 hadoop104
	do
		echo  ------------- zookeeper $i 停止 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
	done
}
;;
"status"){
	for i in hadoop102 hadoop103 hadoop104
	do
		echo  ------------- zookeeper $i 状态 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
	done
}
;;
esac

依次在集群服务器节点启动kafka：

#先进入到kafka根目录
bin/kafka-server-start.sh -daemon config/server.properties

启动/停止脚本

开发/生产环境中，手动启动kafka集群效率较低，一般编写启动/停止脚本来进行kafka集群的统一启动和关闭。无论是启动还是停止命令，对应的命令路劲均为绝对路径，而非相对路径

#! /bin/bash
case $1 in
"start"){
 for i in hadoop102 hadoop103 hadoop104[服务器名称]
 do
 echo " --------启动 $i Kafka-------"
 ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -
daemon /opt/module/kafka/config/server.properties"
 done
};;
"stop"){
 for i in hadoop102 hadoop103 hadoop104
 do
 echo " --------停止 $i Kafka-------"
 ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh "
 done
};;
esac

注意：

• 关闭kafka命令到所有的kafka集群关闭成功提示存在一定的时间差，一定要等kafka集群全部关闭完毕以后，再进行Zookeeper集群的关闭操作！！！

Topic命令

操作主题命令参数

bin/kafka-topics.sh

其中，具体包括主题的CRUD操作：

参数	描述
–bootstrap-server <String: server toconnect to>	连接的Kafka Broker主机名称和端口号
–topic <String: topic>	操作的topic名称
–create	创建主题
–delete	删除主题
–alter	修改主题
–list	查看所有主题
–describe	查看主题的详细描述
–partitons	设置分区数
–replication-factor	设置分区的副本数
–config	更新系统默认的配置

Kafka之生产者

生产者消息发送流程

在消息发送过程中，存在着两个线程：

• Main线程：将消息发送给RecordAccumulator的队列中
• Sender线程：从RecordAccumulator的队列中拉取消息发送到Kafka Broker

具体流程图：

其中：

• RecordAccumulator的默认存储大小为32M，内部每一个消息队列的默认大小为16K。只有当队列的数据达到batch.size以后，sender才会拉取对应的消息，默认batch.size大小为16k；同时，如果数据未达到batch.size，但是sender线程等待时间达到linger.ms时也会发送消息到sender线程。

• Sender线程中的请求时基于Kafka节点(Broker)的，每个broker节点上默认最多缓存5个请求，Selector则构成请求的IO通道，当请求通过Selector选择器到达Kafka集群，进行对应的消息处理，处理完成后会给予对应的acks(应答)，这里存在三种应答策略：

  • 0：表示生产者发送过来的数据，不需要等数据落盘，直接给予应答
  • 1：生产者发送过来的数据，只要Leader收到数据即应答
  • -1(all)：生产者发送过来的数据，Leader和ISR队列里面的所有节点收齐数据后应答。

• 如果应答成功，则需要删除Sender中的对应请求，同时删除对应队列中的请求；若应答失败，可以进行重试机制

异步发送

依赖添加：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.0.0</version>
</dependency>

创建一个CustomProducer进行消息的生产：

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;
public class CustomProducer {
 public static void main(String[] args) throws 
InterruptedException {
     // 1. 创建 kafka 生产者的配置对象
     Properties properties = new Properties();
     // 2. 给 kafka 配置对象添加配置信息：bootstrap.servers
     properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, 
    "hadoop102:9092");
     // key,value 序列化（必须）：key.serializer，value.serializer
     properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, 
        "org.apache.kafka.common.serialization.StringSerializer");
     properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, 
    "org.apache.kafka.common.serialization.StringSerializer");
     // 3. 创建 kafka 生产者对象
     KafkaProducer<String, String> kafkaProducer = new 
     KafkaProducer<String, String>(properties);
     // 4. 调用 send 方法,发送消息
     for (int i = 0; i < 5; i++) {
     	kafkaProducer.send(new 
     	ProducerRecord<>("first","message " + i));
     }
     // 5. 关闭资源
     kafkaProducer.close();
 }
}

异步发送带回调函数

回调函数会在 producer 收到 ack 时调用，为异步调用，该方法有两个参数，分别是元 数据信息（RecordMetadata）和异常信息（Exception），如果 Exception 为 null，说明消息发 送成功，如果 Exception 不为 null，说明消息发送失败。

在send方法中添加回调逻辑：

kafkaProducer.send(new ProducerRecord<>("first", 
"message " + i), new Callback() {
    // 该方法在 Producer 收到 ack 时调用，为异步调用
     @Override
     public void onCompletion(RecordMetadata metadata, 
    Exception exception) {
         if (exception == null) {
             // 没有异常,输出信息到控制台
            System.out.println(" 主题： " + 
            metadata.topic() + "->" + "分区：" + metadata.partition());
         } else {
         // 出现异常打印
        	exception.printStackTrace();
         }
       }
     });
     // 延迟一会会看到数据发往不同分区
     Thread.sleep(2);
 }

同步发送

只需要在异步发送的基础上调用一个get()方法即可

kafkaProducer.send(new ProducerRecord<>("first","message" + i)).get();