【Kafka】

已于 2022-07-08 09:32:18 修改
阅读量403 收藏
点赞数
分类专栏： Kafka 文章标签： kafka 大数据 分布式
于 2022-07-06 14:51:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woxingyixu/article/details/125637681
版权

Kafka（一）

Kafka概念

概念理解

kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统。

特性

  • 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒
  • 可扩展性：kafka集群支持热扩展
  • 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失
  • 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）
    高并发：支持数千个客户端同时读写

场景应用

  • 日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。
  • 消息系统：解耦和生产者和消费者、缓存消息等。
  • 用户活动跟踪：Kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载到hadoop、数据仓库中做离线分析和挖掘。
  • 运营指标：Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告

设计思想

  • Consumergroup：各个consumer可以组成一个组，每个消息只能被组中的一个consumer消费，如果一个消息可以被多个consumer消费的话，那么这些consumer必须在不同的组。
  • 消息状态：在Kafka中，消息的状态被保存在consumer中，broker不会关心哪个消息被消费了被谁消费了，只记录一个offset值（指向partition中下一个要被消费的消息位置），这就意味着如果consumer处理不好的话，broker上的一个消息可能会被消费多次。
  • 消息持久化：Kafka中会把消息持久化到本地文件系统中，并且保持极高的效率。
  • 消息有效期：Kafka会长久保留其中的消息，以便consumer可以多次消费，当然其中很多细节是可配置
  • 批量发送：Kafka支持以消息集合为单位进行批量发送，以提高push效率
    push-and-pull :Kafka中的Producer和consumer采用的是push-and-pull模式，即Producer只管向broker push消息，consumer只管从broker pull消息，两者对消息的生产和消费是异步的。
  • Kafka集群中broker之间的关系：不是主从关系，各个broker在集群中地位一样，我们可以随意的增加或删除任何一个broker节点。
  • 负载均衡方面： Kafka提供了一个 metadata API来管理broker之间的负载（对Kafka0.8.x而言，对于0.7.x主要靠zookeeper来实现负载均衡）。
    同步异步：Producer采用异步push方式，极大提高Kafka系统的吞吐率（可以通过参数控制是采用同步还是异步方式）。
  • 分区机制partition：Kafka的broker端支持消息分区，Producer可以决定把消息发到哪个分区，在一个分区中消息的顺序就是Producer发送消息的顺序，一个主题中可以有多个分区，具体分区的数量是可配置的

架构原理

基础架构名词解释

  • Producer：Producer即生产者，消息的产生者，是消息的入口。
  • Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等……
  • Topic：消息的主题，可以理解为消息的分类，kafka的数据就保存在topic。在每个broker上都可以创建多个topic。
  • Partition：Topic的分区，每个topic可以有多个分区，分区的作用是做负载，提高kafka的吞吐量。同一个topic在不同的分区的数据是不重复的，partition的物理表现形式就是一个一个的文件夹！
  • Message：每一条发送的消息主体。
  • Consumer：消费者，即消息的消费方，是消息的出口
  • Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个topic的不同分区的数据，这也是为了提高kafka的吞吐量！
  • Zookeeper：kafka集群依赖zookeeper来保存集群的的元信息，来保证系统的可用性。

分区

分区的目的

  • 方便扩展：因为一个topic可以有多个partition，所以我们可以通过扩展机器去轻松的应对日益增长的数据量。
  • 提高并发：以partition为读写单位，可以多个消费者同时消费数据，提高了消息的处理效率。

分区的策略

在这里插入图片描述

  • 在指明partition的情况下，直接将指明的值作为partition
  • 没有指明partition的值，但是有key值的情况下，将Key的hash值和topic的partition数进行取余得到``partition`值
  • 在既没有partition的值有没有key值的情况下，Kafka采用了Sticky partition粘性分区器,随机选择一个分区，并尽可能一直使用该分区，待该分区的batch已满或者已经完成,kafka会随机选择另外一个分区进行使用

分区结构

在这里插入图片描述

每个topic都可以分为一个或多个partition，如果你觉得topic比较抽象，那partition就是比较具体的东西了！Partition在服务器上的表现形式就是一个一个的文件夹，每个partition的文件夹下面会有多组segment文件，每组segment文件又包含.index文件、.log文件、.timeindex文件（早期版本中没有）三个文件， log文件就实际是存储message的地方，而index和timeindex文件为索引文件，用于检索消息。

工作流程

  1. 先从集群获取分区的leader
  2. producter将消息发送给leader
  3. leader将消息写入本地文件
  4. followers从leader pull 消息
  5. followers 将消息写入本地后向leader发送ACk
  6. leader收到所有副本的ACk后向produc发送ACK

数据可靠（ACK确认）

数据可靠是靠ACK应答来保证的，三种ACK应答方式存在的漏洞

应答策略

  • 0：生产者发送过来的数据，不需要等带数据落盘就应答。
    因为leader不需要应答producer，此时如果leader挂掉了，那么producer并不知情，依然进行数据的发送，就会导致后续发出的数据丢失。

  • 生产者发送过来的数据，leader收到数据落盘后应答
    leader接收数据后没有同步给其他Follower，此时leader挂掉，会从其他Follower选举出来一个leader，新的leader并没有之前的数据。造成数据丢失

  • -1（ALL）：所有的follower都完成从leader的同步才会发送下一条，确保leader发送成功和所有的副本都完成备份
    leader正在同步数据，此时一个follower挂掉了。但是leader要一直等待着follower的应答，系统就会一直卡着，leader不会给producer应答。

为了解决这个问题：
leader里面维护了一个动态的in-sync replica set (ISR),意为和leader保持同步的Leader—Follower集合（leader：0， ISR：0,1,2）。
如果Follower长时间未向leader发送通信或者同步数据则该Follower将被踢出ISR。
时间的阈值由replica.lag.time.max.ms参数设定，默认时间30s。例如2超时（leader：0， ISR：0,1）
这样就不用等待长期联系不上或者已经故障的节点

如果分区副本设置为1，ISR里应答的最小副本数量设置为1，和ack=1的效果是一样的，仍然有丢失数据的危险。

数据完全可靠性

公式

== 数据完全可靠条件 = （ACK级别为-1） + （分区副本数大于等于2）+ （ISR里应答的最小副本数量大于等于2）==

数据重复分析

如果数据同步已经成功，leader正在应答时，leader挂掉了。

就会选出新的leader。由于Producer没有收到应答，会将之前的数据再发一份给leader，导致数据重复。

代码中设置acks
props.put("acks","1");
//重试的次数 0不允许重试
props.put("retries",0);

数据去重

  • 至少一次（At Least Once）= （ACKS级别设置为-1）+ （分区副本大于等于2） + （ISR里应答的最小副本数量大于等于
  • 最多一次（At Most Once）= Ack级别设置为

At Least Once 可以保证数据不丢失，但是不能保证数据不重复
At Most Once 可以保证数据不重复，但是不能保证数据不丢失

  • 精确一次（Exactly Once）=幂等性+至少一次（At Least Once）
    重复数据的判断标准：具有**<PID,Partition,SeqNumber>**相同主键的消息提交时，Broker只会持久化一条数据。

PID：kafka每次重新启动都会分配一个新的PID
Partition：表示分区号
Sequence Number：序列化号，是单调递增的

woxingyixu
关注
专栏目录
kafka2种工具 kafkatool-64bit.exe kafka-eagle-bin-1.4.6.tar.gz
01-27
在IT行业中，Kafka是一种广泛使用的分布式流处理平台，它由Apache软件基金会开发，主要用于构建实时数据管道和流应用。本文将围绕标题和描述中提到的两种Kafka工具——kafkatool-64bit.exe和kafka-eagle-bin-1.4.6....
5、kafka监控工具Kafka-Eagle介绍及使用
05-29
Apache Kafka 是一个分布式流处理平台，常用于构建实时的数据管道和应用。Kafka 提供了高吞吐量、低延迟的消息传递能力，是大数据领域中重要的消息队列（MQ）解决方案。Kafka-Eagle 是针对 Kafka 集群设计的一款高效...
MQ篇(3-6)--kafka特点
suncat的博客
10-08 504
一、高可用性 1.Kafka 本身是一个分布式系统，同时采用了 Zookeeper 存储元数据信息，提高了系统的高可用性。 2.Kafka 使用多副本机制：当状态为 Leader 的 Partition 对应的 Broker 宕机或者网络异常时，Kafka 会通过选举机制从对应的 Replica 列表中重新选举出一个 Replica 当做 Leader，从而继续对外提供读写服务（当然，需要注意的一点是，在新版本的 Kafka 中，Replica 也可以对外提供读请求了），利用多副本机制在一定程度上提高了
消息队列复习题
qq_46130027的博客
11-08 315
与传统消息系统相比，Kafka的突出特点不包括（） A. 支持实时的流式处理 B. 容错能力强，是一个分布式系统 C. 提供在线消息同步和离线消息缓存的能力 D. 能够持久化日志 答案： 解析：C A. 流式处理是指实时的处理一个或者多个事件流，Kafka支持实时的流式处理。 B. Kafka是一个分布式系统，以集群的方式运行，可以灵活伸缩，在内部通过复制数据提升容错能力和高可用性。 C. 传统的消息系统，服务端的主要工作是维护发送方和接收方的连接状态，并提供在线消息同步和离线消息缓存的能力，这是传统的消
1+X大数据平台运维职业技能等级证书中级
HYSliuliuliu的博客
12-14 1万+
5. 下面的命令描述正确的是( ) - 选项：A. 创建一个名称为test 组的命令：groupadd test, B. 改用户 Tom 设置密码命令：passwd Tom, C. 删除用户名为Tom 的命令：userdel Tom, D. 切换当前用户帐户为 admin 的命令：su admin。30. 关于 Hadoop 的运行机制过程顺序说法正确的是（ ）- 选项：A. 作业提交--作业初始化--任务分配--任务的执行--任务进度和状态的更新--任务结束。
Kafka面试题（附答案）
qq_28900249的博客
05-15 2万+
1、请说明什么是Apache Kafka? Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和可复制的提交日志服务。 2、说说Kafka的使用场景？ ①异步处理 ②应用解耦 ③流量削峰 ④日志处理 ⑤消息通讯等。 3、使用Kafka有什么优点和缺点？ 优点： ①支持跨数据中心的消息复制； ②单机吞吐量：十万级，最大的优点，就是...
Kafka有哪些特点
weixin_42702831的博客
09-03 6100
• 消息系统的特点：生存者消费者模型，先入先出（FIFO） • 高性能：单节点支持上千个客户端，高吞吐量 1.     零拷贝技术 2.     分布式存储 3.     顺序读顺序写 4.     批量读批量写 • 持久性：消息直接持久化在普通磁盘上，且性能好 • 分布式：数据副本冗余、流量负载均衡、可扩展 • 很灵活：消息长时间持久化+Client维护消费状态 注意：消息系统...
kafka-3.5.1
09-27
开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，...
kafka-2.12-3.6.1.tgz
12-19
《Kafka 2.12-3.6.1在Linux环境下的快速部署与使用》 Kafka，作为一款高效、可扩展且持久化的分布式消息中间件，被广泛应用于大数据实时处理、日志收集和流处理等场景。本文将详细介绍如何在Linux环境下部署并使用...
kafka-2.11-1.1.0-aarch64,ARM版本
01-26
《Kafka ARM版：kafka_2.11-1.1.0-aarch64详解》 在当今大数据处理领域，Apache Kafka以其高吞吐量、低延迟和分布式架构的特点，成为实时数据流处理的重要工具。而随着物联网（IoT）的发展，ARM架构的设备在边缘...
kafka的特点和优势
qq_38019655的博客
11-15 2万+
kafka的特点和优势 一、kafka的特点 　　高吞吐量：Kafka 每秒可以生产约 25 万消息（50 MB），每秒处理 55 万消息（110 MB） 　　持久化数据存储：可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如 ETL，以及实时应用程序。通过将数据持久化到硬盘以及replication 防止数据丢失。 　　分布式系统易于扩展：所有的 producer、broker 和 ...
Kafka详解（五）Kafka副本机制
傅红雪的专栏
01-15 1173
所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。它的作用主要有以下几点： 提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。 提供高伸缩性。支持横向扩展，能够通过增加机器的方式来提升读性能，进而提高读操作吞吐量。 改善数据局部性。允许将数据放入与用户地理位置相近的地方，从...
kafka
Piratesa的博客
08-24 949
1、Kafka是个什么东西 – kafka是一个高吞吐的分部式消息系统 2、消息列队常见场景 • 系统之间解耦合 • 峰值压力缓冲 • 异步通信 3、kafka架构 producer：生产者 consumer：消费者 broker：kafka集群的server，负责处理消息的读、写请求，存储信息 topic：消息队列/分类 4、kafka的消息存储和生产消费模型 （1）一个topic分成多个pa...
Spark大数据分析与实战课后答案
热门推荐
BIPT919的博客
06-09 2万+
Spark大数据分析实战课后答案
简述Kafka的特点
LiuYangCSND的博客
06-22 2706
一、可靠性：分布式结构存储数据，构建多台kafkaServer集群 分布式存储：往kafka中生产数据时，必然这个数据被分布式存放了。 分区：每一个主题Topic都可以有多个分区 当生产者往主题中生产数据时，会写入不同的分区 每个分区存储在不同的机器上 每一条数据会根据分区规则写入对应的分区 二、可扩展性：横向扩展，机器不够加机器 三、耐用性：Kafka中的数据分区存储在每台机器的磁盘上的，数据存储在Kafka中不易丢失。 为什么我们以前看到的读写磁盘都比较慢？ 磁盘中分散存放的，牺牲大量
kafka mirror maker之实现两个kafka集群之间的数据同步
初夏0811的博客
10-27 686
Kafka MirrorMaker 是 Apache Kafka 提供的一个用于在不同 Kafka 集群之间复制数据的工具。它的主要用途是在多个数据中心、地理位置或集群之间实现数据同步和冗余，以提升数据的高可用性和容灾能力。以下是关于 Kafka MirrorMaker 的详细介绍。Kafka MirrorMaker 是一个非常有用的工具，用于在不同 Kafka 集群之间进行数据复制和同步。无论是简单的集群间数据传输，还是复杂的多数据中心部署，MirrorMaker 都能提供可靠的解决方案。
使用 Kafka 和 MinIO 实现人工智能数据工作流
MinIO
10-25 780
MinIO Enterprise Object Store 是用于创建和执行复杂数据工作流的基础组件。此事件驱动功能的核心是使用 Kafka 的 MinIO 存储桶通知。MinIO Enterprise Object Store 为所有 HTTP 请求（如 PUT、POST、COPY、DELETE、GET、HEAD 和 CompleteMultipartUpload）生成事件通知。您可以使用这些通知来触发相应的应用程序、脚本和 Lambda 函数，以便在对象上传触发事件通知后执行操作。
Kafka
最新发布
jingzhi111的博客
10-27 863
分区、副本、ISR机制、ACK应答机制、消息有序 不丢失 堆积 失败 等处理方案
kafka中MirrorMaker1和MirrorMaker2的区别
初夏0811的博客
10-26 1104
kafka开源社区也终于在kafka2.4带来了自己的企业级解决方案MirrorMaker-V2(MM2)。MM2修复了MM1所存在的局限性。MM2是基于kafka connect框架开发的。与其它的kafka connecet一样MM2有source connector和sink connetor组成，不熟悉kafka connect概念的同学可以这样认为，source connector就是MM1中的消费者，它负责读取远端数据中心的数据。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值