Kafka

最新推荐文章于 2024-05-29 09:38:05 发布
最新推荐文章于 2024-05-29 09:38:05 发布
阅读量830 收藏 2
点赞数
文章标签： kafka 分布式 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44125071/article/details/130276469
版权

Kafka

Kafka常见概念

名词解释
Broker【节点】一个Kafka节点就是一个Broker，一个和多个Broker可以组成一个Kafka集群
Topic【主题】Kafka根据Topic对消息进行归类，发布到Kafka集群的每套消息都需要指定一个topic， topic是一个逻辑概念，物理上是不存在的
Producer【生产者】用于向Kafka中发送消息
Consumer【消费者】从Kafka中获取消息
Consumer Group【消费组】每个Consumer都会归属于一个消费组，一条消息可以同时被多个不同的消费组消费，但是只能被一个消费组中的消费者消费
Partition【分片】物理上的概念，可以将一个topic上的数据拆分成多份放到Partition中，每个Partition内部的消息是有序的

Kafka常见指令

  1. 创建主题
./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic dawn--partitions 1 --replication-factor 1
  1. 查看主题
./kafka-topics.sh --list --bootstrap-server localhost:9092
  1. 开启消费生产端
./kafka-console-producer.sh  --topic dawn --bootstrap-server localhost:9092
  1. 开启消费消费端
./kafka-console-consumer.sh  --topic dawn --bootstrap-server localhost:9092
./kafka-console-consumer.sh  --topic dawn --bootstrap-server localhost:9092 --from-begining

消息是会被存储在Kafka中的文件里的，并且是顺序存储的，消息有偏移量的概念，所以我们可以指定偏移量去读取某个位置的信息。
消费者消费Kafka消息

单播消息

group.id相同

一个消费者组中，只会有一个消费者能够消费到某个Topic的消息。
首先，打开两个窗口，分别执行如下语句开启消费端，那么就在“museGroup1"消费组里创建了两个Consumer

./kafka-console-consumer.sh  --topic dawn --bootstrap-server localhost:9092 --consumer-property group.id=museGroup1

然后，Producer端发送三条消息，我们发现，只有一个Consumer收到了消息

消费者消费消息### 多播消息

group.id相同
当业务场景中，需要同一个Topic下的消息被多个消费者消费，那么我们可以采用创建多个消费组的方式，那么这种方式就是多播消息

打开两个窗口，分别执行如下指令：

./kafka-console-consumer.sh --topic muse --bootstrap-server localhost:9092 --consumer-property
group.id=museGroup1
./kafka-console-consumer.sh --topic muse --bootstrap-server localhost:9092 --consumer-property
group.id=museGroup2

最后，Producer端发送三条消息，我们发现，两个Consumer都收到了消息。如下所示：

多播消息

消费组

查看当前主题下有哪些消费组
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

查看消费组中的具体信息
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group museGroup1 --describe

其中，展示出的信息有如下含义：
CURRENT-OFFSET: 当前消费组已消费消息的偏移量
LOG-END-OFFSET: 主题对应分区消息的结束偏移量（水位–HW)
LAG: 当前消费组堆积未消费的消息数量
查看消费组

__conusmer_offsets_N

Kafka默认创建了一个拥有50个分区的主题，名称为： “__consumer_offsets"。
Consumer会将消费分区的Offset提交给Kafka内部Topic: __consumer_offsets，提交过去的时候，[key] = consumerGroupID+topic+分区号，[value]=当前offset的值。
Kafka会定期清理Topic里的信息，最后就保留最新的那条数据。可以通过如下公式确定Consumer消费的Offset要提交到哪个__Consumer_offsets
hash(consumerGroupID)%主题"__Consumer_offsets"的分区数量

稀疏索引

稀疏索引图解

分区

一个主题中的消息量是非常大的，因此可以通过分区的设置，来分布式存储这些消息。并且分区也可以提供消息并发存储的能力。

分区信息

副本

如果分片挂掉了，数据就丢失了。那么为了提高系统的可用性，我们可以把分片复制多个，这就是副本了。但是，副本的产生，也会随之带来数据一致性的问题，即： 有的副本写数据成功，但是有的副本写数据失败。

  • Leader
    Kafka的读写操作都发生在Leader上，Leader负责把数据同步给follower
    当Leader挂掉了，那么经过主从选举，从多个follower中选举产生一个新的Leader

  • Follower
    follower接收Leader同步过来的数据，它不提供读写（主要是为了保证多副本数据与消费的一致性）

多分区 & 多副本

为名称为muse-rp的Topic创建
两个分区 (–partitions)
三个副本 (–replication-factor)
多分区&多副本实现

多分区消费组

一个partition只能被一个消费组中的一个消费者消费，这样设计的目的是保证消息的有序性，但是在多个partition的多个消费者消费的总顺序性是无法得到保证的
partition的数量决定了消费组中Consumer的数量，建议同一个消费组中的Consumer数量不要超过partition的数量，否则多余的Consumer就无法消费消息了。
但是，如果消费者挂掉了，那么就会出发rebalance机制，会由其他消费者来消费该分区

多分区消费组

Controller

Kafka集群中的Broker在ZK中创建临时序号节点，序号最小的节点也就是最先创建的那个节点，将作为集群的Controller， 负责管理整个集群中的所有分区和副本的状态。
Controller控制器的作用如下：
当某个分区的leader副本出现故障时，有控制器负责为该分区选举出新的Leader副本。
当检测到某个分区的ISR集合发生变化时，由控制器负责通知所有Broker更新其元数据信息。
当使用kafka-topics.sh脚本为某个topic增加分区数量时，同样还是由控制器负责让新分区被其他节点感知到

Rebalance机制

当消费者没有指明分区消费时，消费组里的消费者和分区关系发生了变化，那么就会出发rebalance机制。这个机制会重新调整消费者消费哪个分区
在出发rebalance机制之前，消费者消费哪个分区有三种策略

  1. range
    通过公式来计算某个消费者消费哪个分区
  2. 轮询
    大家轮流对分区进行消费
  3. sticky
    在触发rebalance之后，在消费者消费的原分区不变的基础上进行调整j’j’j’j’h’h’h’h’h’h’h’j’g’g

HW和LEO

HW 俗称高水位，取一个partition对应的ISR中最小的LEO作为HW
Consumer最多只能消费到HW所在的位置，每个副本都有HW，Leader和Follower各自负责自己的HW的状态
对于Leader新写入的信息，Consumer不能立刻消费，Leader会等待该消息被所有ISR 中的副本同步后更新HW,此时消息才能被Consumer所消费，这样就能保证如果Leader所在的Broker失效，该消息仍然可以从新选举的Leader中获取。
具体逻辑请看下一张图，

HW和LEO

高频面试题

  1. 如何防止消息丢失
    要想确保Kafka消息不丢失，Consumer、Producer以及Broker都需要做好各自所负责的部分，Producer需要确保消息成功发送到Broker端，Broker端则要确保消息的成功落盘、多副本、持久化，Consumer端则要自己对自己负责，对于已提交的offset的消息都是自己真正消费过的

  2. 如何防止消息的重复消费
    消息生成md5然后保存到MySQL或者Redis中，在处理消息之前先查MySQL或者Redis，进行判断看是否已经消费过

  3. 如何做到顺序消费
    Producer在向Broker发送消息时要保证消息只能被发送到一个Partition中，Kafka默认一个Partition只能被一个Consumer消费。其他特殊情况需要视情况而定

  4. 如何解决消息积压的问题

  • 创建新的topic并配置更多数量的分区，将积压消息的topic消费者逻辑改为直接把消息打入新的topic，将消费逻辑写在新的topic的消费者中
  • 在消费者里面使用多线程完成积压问题

  1. 如何实现延迟队列
    创建一个伪队列，然后再在自己的代码里面拉取伪队列的消息。条件不满足就暂停消费。条件满足后就发送到正确的队列里面

  2. Kafka如何做到单机上百万的高吞吐量呢？

  • 页面缓存技术
  • 磁盘顺序写
  • 零拷贝技术
    不用把数据往用户进程和Socket缓存里面copy
    非零拷贝技术
    零拷贝技术
全栈黎明
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka多个消费者消费一个topic_Kafka 服务中消费者创建详解
weixin_39560064的博客
11-29 3034
与生产者对应的是消费者，应用程序可以通过 KafkaConsumer 来订阅主题，并从订阅的主题拉取消息。不过在使用 KafkaConsumer 之前需要了解消费者与消费组的概念，否则无法理解如何使用 KafkaConsumer。一、消费者与消费组消费者(Consumer)负责订阅主题(Topic)，并从订阅的主题上拉取消息。与其他消息中间间不同的是，再Kafka消费者观念里还有一层消费组(Con...
SpringBoot集成kafka全面实战
热门推荐
Felix
03-28 20万+
本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。 一、生产者实践 普通生产者 带回调的生产者 自定义分区器 kafka事务提交 二、消费者实践 简单消费 指定topic、partition、offset消费 ...
多个消费者订阅一个Kafka的Topic(使用KafkaConsumer和KafkaProducer)
zhangbeizhen18的博客
06-26 9314
记录：466 场景：一个KafkaProducer在一个Topic发布消息，多个消费者KafkaConsumer订阅Kafka的Topic。每个KafkaConsumer指定一个特定的ConsumerGroup，达到一条消息被多个不同的ConsumerGroup消费。
Maven项目整合Kafka
03-12
使用Maven整合Kafka 包括生产者，消费者 Kafka各种配置 //1.设置参数 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "81.68.232.188:9092,81.68.232.188:9093,81.68.232.188:9094"); //把发送的key从字符串序列化为字节数组 props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); //把发送消息value从字符串序列化为字节数组 props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializ
kafka学习资料ppt
06-27
大数据，kafka
kafka-3.5.1
09-27
开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;
ansible-kafka
05-22
humio.kafka Kafka安装程序可与Humio一起运行 要求 该角色必须有权访问Zookeeper的安装 角色变量 请参阅。 在无法访问互联网的机器上，可以将kafka_mirror变量设置为"master"以从主目录的文件目录中复制Kafka tarball。 kafka_mirror : " master " 机架意识 如果您指定每个Kafka节点所在的机架，则Kafka支持机架识别。这可以通过在Kafka中设置broker.rack设置来完成。 通过kafka_broker_rack变量在此Ansible角色中进行配置。 为使此工作正常进行，请确保在清单中将每个机架或数据中心都定义为一个组，并分配了适当的计算机。 然后，您可以直接在清单中设置kafka_broker_rack变量，也可以为每个适当定义它的机架/数据中心组创建一个group_vars文件。 默认情况
RabbitMQ
baihehaitangyijiu的博客
09-18 373
原文连接https://zhuanlan.zhihu.com/p/84007327 芋道源码 RabbitMQ有什么功能？ 解耦，异步，削峰 1.解耦 假设用户微服务想要发送短信，如果没有消息队列，则要调用发送短信微服务提供的API，万一接口逻辑修改，我还要修改调用API的逻辑。有了消息队列，我就只需要将发送短信给谁的消息传递给消息队列，短息微服务监听消息，取出消息，发送短信。这样，用户微服务就不用关心发送短信的API，只需要将发送人和发送信息给消息队列。 2.异步 如果调用发送短息AP
kafka
Django的博客
01-29 2万+
Kafka是什么 Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特...
Kafka 副本
02-11 3万+
follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉（HW之前每个节点都有，故安全），从HW开始向leader进行同步。leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件高于HW的部分截掉，然后从新的leader同步数据。HW：指的是消费者能见到的最大的offset，ISR队列中最小的LEO。
kafka-map工具
08-02
kafka-map是一个连接kafka的页面工具
kafka 插件kafka 插件kafka 插件
06-26
kafka 插件
kafka常用命令
zhangmuqiang的博客
07-05 8294
bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。
一文读懂Kafka消费者背后的那点"猫腻"
程序IT圈
05-27 332
前言经过前几篇文章的介绍，大致了解了生产者背后的运行原理。消息有生产就得有人去消费，今天我们就来介绍下消费端消费消息背后发生的那点事儿。文章概览消费者与消费组的“父子关系”。Repart...
Kafka线上集群部署方案怎么做？no.6
飘然渡沧海的博客
05-27 680
最后是社区的支持度。这一点虽然不是什么明显的差别，但如果不了解的话可能比前两个因素对你的影响更大。简单来说就是，社区目前对Windows平台上发现的Kafka Bug不做任何承诺。虽然口头上依然保证尽力去解决，但根据我的经验，Windows上的Bug一般是不会修复的。
动态地控制kafka的消费速度，从而满足业务要求
weixin_42795092的博客
05-23 467
如果设置得太小，则 消费者可能会频繁地请求数据，这可能会影响消费速度。如果设置得太大，则当Kafka中有数据可用时，消费者可能会等待太长时间。在实际应用中，我们需要动态控制kafka消费速度，以便处理数据流的速率能够满足系统和业务的需求。如果设置得太小，则消费者可能会经常请求数据，这可能会影响消费速度。如果设置得太大，则可能会导致消费者在处理多条记录时所需的时间过长。如果设置得太小，消费者将不得不频繁地拉取数据，这可能会影响消费速度。如果设置太大，则消费者可能会等待太长时间才能获取数据。
Helm安装kafka3.7.0无持久化（KRaft 模式集群）
mingqing的博客
05-23 852
如果使用指定的zookeeper，kraft模式要关闭，修改kraft.enable 的值为false，新版kafka新增了一个kraft模式，他与zookeeper是冲突的，不能同时使用。2.在k8s-master01节点上开启两个窗口，一个用于生产者，一个用作消费者。关于kafka集群扩容，这里介绍两种方式:一种是修改副本数进行扩容，另一种是使用。3.新起一个窗口后，进入kafka，启动一个生产者后，输出hello字段。1.运行一个kafka-client，用于连接kafka集群。
ELK+kafka+filebeat企业内部日志分析系统
weixin_45814478的博客
05-23 922
是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。注：以下为环境所需所有服务器，配置为测试环境配置。安装软件主机名IP地址系统版本配置Elk2核4GEs12核3GEs22核3GKafka11核2G。
Spark基础：Kafka分布式消息系统
最新发布
IT深耕十余载，大道之简
05-29 275
Kafka是一个由Apache软件基金会开发的开源分布式消息系统，它最初由LinkedIn公司开发和维护，后于2011年初开源。Kafka被设计为一个高吞吐量、低延迟的平台，用于处理实时数据流。下面将详细介绍Kafka分布式消息系统的几个关键方面。总结来说，Kafka是一个高性能、分布式、可靠的消息系统，被广泛应用于实时数据处理和流处理场景。与Spark的集成使得Kafka能够更好地发挥其在大数据处理和分析方面的优势。
KAFKA
06-01
指的是在空闲分区链表中找到最小的能够满足要求的空闲分区进行分Kafka是一种分布式流处理平台，它具有高吞吐量、可扩展性和容错性配。具体实现过程如下： ```c #include <stdlib.h> #include <stdio.h> // 内存块头等特点。它主要由三部分组成：生产者、消费者和消息传递系统。生产结构 typedef struct mem_block { int size; // 内存块大小 int used; // 是否被占用，1者可以将消息发送到Kafka集群，消费者可以从Kafka集群中读取消息。Kafka的消息表示已被占用，0表示空闲 struct mem_block *next; // 指向下一个内存块的指针传递系统是基于发布/订阅模式实现的，可以方便地支持多个消费者对同 } mem_block_t; // 空闲分区链表头结构 typedef struct free_block { int size; // 空闲一个主题进行订阅。同时，Kafka还提供了一系列的API和工具，方便开发人员进行消息处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值