消息队列之 Kafka 概念详解和安装使用（Java）

1、Kafka 概述

1.1 Kafka 定义

Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。

1.2 消息队列的应用场景和好处

使用消息队列的好处：

1. 异步：很多时候，用户并不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。然后在需要的时候再去处理它们。
2. 解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
3. 削峰：在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果以能处理这类峰值访问为标准来投入资源随时待命是对资源的巨大浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。

1.3 消息队列的两种模式

1. 点对点模式（一对一，消费者主动拉取数据，消息只能被消费一次）
     消息生产者生产消息发送到 Queue 中，然后消息消费者从 Queue 中取出并且消费消息。消息被消费以后，Queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue 支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。
   
2. 发布/ 订阅模式（一对多，消费者消费数据之后不会清除消息）
     消息生产者（发布）将消息发布到 topic 中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到 topic 的消息会被所有订阅者消费。
   
   发布订阅模式有两种实现方式：1.消息消费者自己去消息队列拉取消息，缺点是每个消费者要一直轮询访问消息队列。2.消息队列主动给所有订阅该主题的消息消费者推送消息，缺点是消息队列需要维护所有的消息消费者列表。

1.4 Kafka 基础架构

2、Kafka 环境配置：安装配置 jdk、zookeeper、kafka

以 Centos7 为例，安装配置 Kafka 的运行环境。

2.1 安装配置 jdk

jdk 官网下载：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
点击下方的安装包，然后注册账号/登录账号即可免费下载

安装步骤：

1. 先将软件通过 xftp5 上传到 /opt 下
2. 解压缩到 /opt 的指令：tar -zxvf jdk名称
3. 配置环境变量的配置文件 vim /etc/profile
4. JAVA_HOME=/opt/第二步解压后的jdk名称
5. PATH=/opt/第二步解压后的jdk名称/bin:$PATH
6. export JAVA_HOME PATH
7. 需要重新登录一下环境变量才能生效

示例配置信息如下：

测试是否安装成功：在任何目录下都可以使用 javac、java -version 等命令。

2.2 安装配置 Zookeeper

Zookeeper 是安装 Kafka 集群的必要组件，Kafka 通过 Zookeeper 来实施队员数据信息的管理，包括集群、主题、分区等内容。

Zookeeper 官网下载：https://zookeeper.apache.org/releases.html

点击最新版本

进入最新版的网页以后，下载 HTTP 下的安装包

安装步骤：

1. 先将软件通过 xftp5 上传到 /opt 下
2. 解压缩到 /opt 的指令：tar -zxvf zookeeper名称
3. 修改解压文件夹内的 conf/zoo_sample.cfg 文件名为 zoo.cfg
   
4. 编辑 zoo.cfg 文件内的部分配置如下：

# The number of milliseconds of each tick
# zk 服务器的心跳时间
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
# 投票选举新 Leader 的初始化时间
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
# 数据目录，在该目录下创建 data 文件夹
dataDir=/opt/zookeeper/data
# the port at which the clients will connect
# zk 对外服务端口，保持默认
clientPort=2181

4. 在 Zookeeper 主目录下使用启动指令：bin/zkServer.sh start （启动 zookeeper 服务成功）
   
5. 测试：使用 jps -l 指令查看已启动的 java 进程
   

2.3 安装配置 Kafka

Kafka 官网下载：http://kafka.apache.org/downloads

点击如下红框进入下载页面：

下载该安装包

安装步骤：

1. 先将软件通过 xftp5 上传到 /opt 下
2. 解压缩到 /opt 的指令：tar -zxvf kafka名称
3. 关注一下解压文件夹内 config/server.properties 配置文件的几个参数

1. broker.id=0 表示 broker 的编号，如果集群中有多个 broker，则每个 broker 的编号需要设置得不同
2. listeners=PLAINTEXT://:9092 brokder对外提供的服务入口地址，默认是被注释的，需要取消掉注释
3. log.dirs=/tmp/kafka/log 设置存放消息日志文件的地址
4. zookeeper.connect=localhost:2181 Kafka所需Zookeeper集群地址， localhost 表示 Kafka 和 Zookeeper 部署在同一个服务器上

4. 在 kafka 主文件下使用启动命令来启动 kafka 服务：bin/kafka-server-start.sh config/server.properties
   
   如上图所示，kafka 已经启动。此时可以另外开启一个远程远程连接窗口，测试 kafka 服务是否已经启动
5. 测试：使用 jps -l 指令查看已启动的 java 进程
   

2.4 Kafka 测试消息生产和消费

1. 首先创建一个主题，在 kafka 主目录下执行 Linux 指令：bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic pers --partitions 2 --replication-factor 1

参数解析：
–zookeeper：指定了 kafka 所连接的 zookeeper 服务地址
–create：创建主题的动作指令
–topic：指定了所要创建主题的名称
–partitions：指定了分区个数
–replication-factor：指定了副本因子

2. 有以下两种方式查看主题是否创建成功：

1、展示所有主题：bin/kafka-topics.sh --zookeeper localhost:2181 --list

2、查看主题详情：bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic pers

3. 启动消费端来接收消息，Linux 指令为：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic pers。运行之后，该终端开始轮询监听这个主题，此时先不管这个远程连接窗口，新启一个远程连接窗口，进入第4步创建生产者。

–bootstrap-server 指定了连接 kafka 集群的地址
–topic 指定了消费端订阅的主题

4. 生产端发送消息，Linux 指令为：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic pers

–broker-list 指定了连接 kafka 集群的地址
–topic 指定了发送消息时的主题

5. 此时往新启的生产端发送消息：“hello kafka”，可以看见原来的终端立刻输出了该消息，即消费端实时的消费了生产端发布的消息
   新启的生产端：
   
   原来的消费端：
   

3、Kafka 基本 API

Tips：阿里云服务器部署 Kafka，而 Java 连接不上的坑

3.1 Producer API（消息生产者 API）

3.1.1 消息从生产者发送到 MQ 的流程

  Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程 ——main 线程和 Sender 线程，以及一个线程共享变量 —— RecordAccumulator。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。

相关参数：
batch.size ：只有数据积累到 batch.size 之后，sender 才会发送数据。

linger.ms ：如果数据迟迟未达到 batch.size，sender 等待 linger.time 之后就会发送数据。

3.1.2 实现异步发送消息的 API

1.导入依赖

<dependency>
	<groupId>org.apache.kafka</groupId>
	<artifactId>kafka-clients</artifactId>
	<version>0.11.0.0</version>
</dependency>

2.创建生产者对象，用来发送信息：

需要用到的类 ：

KafkaProducer：需要创建一个生产者对象，用来发送数据

ProducerConfig：获取所需的一系列配置参数

ProducerRecord：每条数据都要封装成一个 ProducerRecord 对象

package pers.cjh.kafkatest.producer;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

/**
 * Description:
 *
 * @author cjh
 * @date Created on 2020/10/7
 */
public class MyProducer {

    public static void main(String[] args) {
        // 1. 创建 Kafka 生产者所需要的配置信息
        Properties props = new Properties();
        //kafka 集群，broker-list
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG , "服务器外网ip:9092");
        props.put("acks", "all");
        //重试次数3次
        props.put("retries", 3);
        //批次大小，16k
        props.put("batch.size", 16384);
        //等待时间，1毫秒
        props.put("linger.ms", 1);
        //RecordAccumulator 缓冲区大小
        props.put("buffer.memory", 33554432);
        //key，value 的序列化类
        props.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer","org.apache.kafka.common.serialization.StringSerializer");
        // 创建生产者对象
        Producer<String, String> producer = new KafkaProducer<>(props);

        // 发送数据
        for (int i = 0; i < 10; i++) {
            producer.send(new ProducerRecord<String, String>("pers",
                    "cjh--" + Integer.toString(i), Integer.toString(i)));
            System.out.println("cjh--" + Integer.toString(i));
        }
        // 关闭资源
        producer.close();
    }
}

3.2 Consumer API（消息消费者 API）

3.2.1 需要用到的类

KafkaConsumer：需要创建一个消费者对象，用来消费数据

ConsumerConfig：获取所需的一系列配置参数

ConsuemrRecord：每条数据都要封装成一个 ConsumerRecord 对象

3.2.2 编写 MyConsumer 类实现自动提交和手动提交 offset

enable.auto.commit ：是否开启自动提交 offset 功能

auto.commit.interval.ms ：自动提交 offset 的时间间隔

package pers.cjh.kafkatest.consumer;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Collections;
import java.util.Properties;

/**
 * Description:
 *
 * @author cjh
 * @date Created on 2020/10/8
 */
public class MyConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "服务器外网IP:9092");
        props.put("group.id", "test");	
		// enable.auto.commit ：是否开启自动提交 offset 功能，true 就自动提交
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "8000");
        props.put("key.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("pers"));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records)
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
        }
    }
}

4、Kafka 架构深入

4.1 Kafka 工作流程及文件存储机制

  Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic 的。
  topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

  由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位效率低下，Kafka 采取了 分片 和 索引 机制，将每个 partition 分为多个 segment。每个 segment 对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic 名称+分区序号。例如，first 这个 topic 有三个分区，则其对应的文件夹为 first-0,first-1,first-2。

00000000000000000000.index
00000000000000000000.log
00000000000000170410.index
00000000000000170410.log
00000000000000239430.index
00000000000000239430.log

“.index”文件存储大量的索引信息，“.log”文件存储大量的数据， 索引文件中的元
数据指向对应数据文件中 message 的物理偏移地址。

4.2 Kafka 生产者分区策略（Producer）

1. 分区的原因：

（1） 方便在集群中扩展，每个 Partition 可以通过调整以适应它所在的机器，而一个 topic
又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了；
（2） 可以提高并发，因为可以以 Partition 为单位读写了

2. 分区的原则

我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。

（1）指明 partition 的情况下，直接将指明的值直接作为 partiton 值；
（2）没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition
数进行取余得到 partition 值；
（3）既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余得到 partition 值，也就是常说的 round-robin 算法。

4.3 Kafka 消费者消费方式和分区策略（Consumer）

1.消费方式
  consumer 采用 pull（拉）模式从 broker 中读取数据。

  push （推）模式很难适应消费速率不同的消费者，因为消息发送速率是由 broker 决定的。

  它的目标是尽可能以最快速度传递消息，但是这样很容易造成 consumer 来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而 pull 模式则可以根据 consumer 的消费能力以适当的速率消费消息。

  pull 模式不足之处是，如果 kafka 没有数据，消费者可能会陷入循环中，一直返回空数据。针对这一点，Kafka 的消费者在消费数据时会传入一个时长参数 timeout，如果当前没有数据可供消费，consumer 会等待一段时间之后再返回，这段时长即为 timeout。

2.分区分配策略
  一个 consumer group 中有多个 consumer，一个 topic 有多个 partition，所以必然会涉及到 partition 的分配问题，即确定那个 partition 由哪个 consumer 来消费。

  Kafka 有两种分配策略，一是 RoundRobin，一是 Range。

4.4 Zookeeper 在 Kafka 中的作用

  Kafka 集群中有一个 broker 会被选举为 Controller，负责管理集群 broker 的上下线，所有 topic 的分区副本分配和 leader 选举等工作。

  Controller 的管理工作都是依赖于 Zookeeper 的。

  以下为 partition 的 leader 选举过程：

4.5 Producer 事务：

  为了实现跨分区跨会话的事务，需要引入一个全局唯一的 Transaction ID，并将 Producer 获得的 PID 和 Transaction ID 绑定。这样当 Producer 重启后就可以通过正在进行的 Transaction ID 获得原来的 PID。

  为了管理 Transaction，Kafka 引入了一个新的组件 Transaction Coordinator。Producer 就是通过和 Transaction Coordinator 交互获得 Transaction ID 对应的任务状态。Transaction Coordinator 还负责将事务所有写入 Kafka 的一个内部 Topic，这样即使整个服务重启，由于事务状态得到保存，进行中的事务状态可以得到恢复，从而继续进行。

4.6 Consumer 事务

  上述事务机制主要是从 Producer 方面考虑，对于 Consumer 而言，事务的保证就会相对较弱，尤其是无法保证 Commit 的信息被精确消费。这是由于 Consumer 可以通过 offset 访问任意信息，而且不同的 Segment File 生命周期不同，同一事务的消息可能会出现重启后被删除的情况。