Kafka

Kafka的概念

Kafka是一种分布式、高吞吐量的分布式分布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，主要应用于大数据实时处理领域。

类比来说，kafka是一个邮箱，生产者是发送邮件的人，消费者是接收邮件的人，Kafka是用来存东西的，只不过它提供了一些处理邮件的机制。

Kafka的特点、优缺点

特点

高吞吐量、低延迟：每秒可以处理几十万条消息，它的延迟最低只有几毫米

可扩展性：kafka集群支持热扩展

持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失

容错性：运行集群中节点故障（若副本数量为n，则允许n-1个节点故障）

高并发：支持数千个客户端同时读写

优点：

支持多个生产者和消费者
支持broker的横向拓展
副本集机制，实现数据冗余，保证数据不丢失
通过topic将数据进行分类
通过分批发送压缩数据的方式，减少数据传输开销，提高吞吐量
支持多种模式的消息
基于磁盘实现数据的持久化
高性能的处理消息，在大数据的情况下，可以保证亚秒级的消息延迟
一个消费者可以支持多种topic的消息
对CPU和内存的消耗比较小
对网络开销也比较小
支持跨数据中心的数据复制
支持镜像集群

缺点

由于是批量发送，数据达不到真正的实时
对于mqtt协议不支持
不支持物联网传感数据直接接入
只能支持统一分区内消息有序，无法实现全局消息有序
监控不完善，需要安装插件
需要配合zookeeper进行元数据管理
会丢失数据，并且不支持事务
可能会重复消费数据，消息会乱序，可以保证一个固定的partition内部的消息是有序的，但是一个topic有多个partition的话，就不能保证有序了，需要zookeeper的支持，topic一般需要人工创建，部署和维护一般都比mq高

Kafka的使用场景

1、消息队列功能：在系统或应用程序之间构建可靠的用于传输实时数据的管道

2、数据处理功能：在系统或应用程序之间构建可靠的用于传输实时数据的管道，

日志收集：一个公司可以用kafka收集各种服务的log，同kafka以统一接口服务的方式开发给各种consumer

消息系统：解耦生产者和消费者、缓存消息等

流式处理：Spark streaming和Flink

运营指标：记录运营监控数据，包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告

用户活动跟踪：记录web用户或者app用户的各种活动，比如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后消费者通过订阅这些topic来做实时的监控分析，亦可保存到数据库

Kafka架构

Producer：消息生产者，向kafka broker发消息的客户端

Consumer：消息消费者，向kafka broker取消息的客户端

Consumer Group(CG)：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；消费者之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者

Broker：一台kafka服务器就是一个broker，一个集群由多个broker组成，一个broker可以容纳多个topic

Topic：可以理解为一个队列，生产者和消费者面向的都是topic

Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker上，一个topic开源分为多个partition，每个partition是一个有序的队列

Replica：副本，为保证集群中的某个节点发送故障时，该节点上的partition数据不丢失，且kafka仍然能够继续工作，kafka提供了副本机制，一个topic的每个分区都有若干个副本，一个leader和若干个follower

leader：每个分区多个副本的“主，生产者发送数据的对象，以及消费者消费数据的对象都是leader

follower：每个分区多个副本的“从”，实时从leader中同步数据，保持和leader数据的同步。leader发生故障时，某个follower会成为新的leader

Kafka的生产者区域

分区策略

1）分区的原因

1、方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以由多个Partition组成，因此整个集群就可以适应任意大小的数据了
2、可以提高并发，因为可以以Partition为单位读写

2）分区的原则

image-20220408122404946

我们需要将Producer发送的数据封装成一个ProducerRecord对象
 1、指明partition的情况下，将其作为partition值
 2、没有指明partiton值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值
 3、没有partition、key值情况下。第一次调用时随机生成一个整数，将这个值与topic可用的partition总数取余得到partition值。round-robin算法

数据可靠性保证

为保证producer发送数据，能可靠的发送到指定的topic，topi