Kafka消息链路

已于 2022-04-09 20:37:24 修改
阅读量1.2k 收藏 1
点赞数
分类专栏： Kafka 文章标签： spring kafka
于 2022-04-09 16:31:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40429067/article/details/124061671
版权

一、消息发送流程

在这里插入图片描述

1. 外部数据
2. kafka producer 生产者
  • 在main线程中创建一个生产者，通过send方法发送外部数据
4. Interceptors 拦截器（可选项）
  • Flume对数据进行拦截处理
5. Serializer 序列化器
  • 跨节点通信需要对数据进行序列化
  • 由于Java自带的序列化器Serializable太重，携带了太多不需要的信息，所以使用kafka自带的序列化器
6. DefaultPartitioner 分区器
  • 在未定义分区器时，会使用默认的分区器：根据key的hashcode的整数值除以分区数得出该数据应该发送于哪个分区
  • 如果数据既没有指定分区，也没有指定的key，就会选择黏性分区发送，直到该批次（batch.size）满了

在这里插入图片描述

  • 自定义分区器，只需要实现Partition接口，重写partition方法，返回值为数据应该发送的分区号，同时在关联自定义分区器

在这里插入图片描述
在这里插入图片描述

7. RecordAccumulator 缓冲区
  • 缓冲区在内存中，整个区域大小为32M，缓冲区中有多个Deque队列，每个队列有多个批次，缓冲区有一个内存池，当创建队列时会从内存池分走内存，当消息发送完毕，就会释放内存，归还给内存池
  • 数据经过分区器后，会把数据分成多个分区，在缓冲区中一个分区会创建一个队列Deque
  • 经过分区器的数据发送到缓冲区的指定队列时，是按批次发送的，每一个批次大小为16K
  • 数据到达缓冲区的指定队列后会把同一个topic分区的消息先汇总起来，形成一个batch（真正发往kafka服务器的消息都是以batch为单位的），当batch的容量达到指定的batch.size或者到达指定的linger.ms后就会由sender线程发送至kafka集群的指定主题的指定分区，消息发送完之后，batch不再使用了，就把内存块归还给缓冲区
8. sender线程
  • 从缓冲区的队列里主动拉取数据发送至kafka的对应分区。
  • 拉取数据有两个条件，一个式batch.size，一个是linger.ms，这两者是或的关系，任何一个满足要求都会触发sender线程对数据进行拉取
  • sender线程发送数据时，是以节点为单位进行发送，一个节点broker.id为key，value为该节点的请求进行发送
9. selector
  • 缓冲区和kafka集群之间的“高速公路”，数据通过selector才能从缓冲区发送到kafka集群
10. kafka集群
  • 集群在收到消息后进行副本的同步，同步之后进行应答 ，如果应答成功就清理掉该节点缓存的请求，并清理队列中的批数据
  • 如果失败了就重试，默认的重试的次数是int的最大值，也可以自定义重试次数
  • 在发送请求的时候也在等待kafka节点的应答，如果连续5个请求都没有收到一个应答，就会停止发送
  • 在发送请求时有一个应答机制ack：0、1、-1
35s
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kafka生产者消息追踪：监控消息流转路径
AI架构设计之禅
05-18 729
Apache Kafka 作为一款高吞吐量、低延迟的分布式发布-订阅消息系统，在现代数据架构中扮演着至关重要的角色。它被广泛应用于实时数据流处理、日志收集、事件溯源、微服务通信等各种场景。随着数据规模的不断增长和业务复杂性的提升，对 Kafka 消息的监控和追踪需求也日益迫切。@Override// 生成消息 ID// 获取当前时间戳// 添加消息 ID、时间戳和自定义元数据// 返回修改后的消息headers@Override// 处理消息发送成功或失败的回调。
Kafka 消息转换
千里之行始于足下
06-15 2089
– Start 之前的例子都是发送和接收 String 消息，现在我们来看一个发送对象的例子。 package shangbo.kafka.example13; import org.springframework.context.ApplicationContext; import org.springframework.context.annotation.AnnotationCon...
链路日志中追踪traceId
sun_fubao的博客
09-06 8331
mdc就是基于Threadlocal进行的一个流程周转的标志物的传递，就是根据这种标志，可以追踪到日志的整体请求记录，便于进行定位到问题所在，而且对于用户的影响极小。
Springcloud alibaba学习(2)-集成nacos做服务发现和注册中心
m0_46845770的博客
03-13 184
Nacos可以说是集成了原生SpringCloud中注册中心Eruka(Consul)和配置中心Config，集成nacos很简单,本文主要贴出pom和配置即可 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaL.
Springboot整合Zipkin+kafka+ELK,实现链路追踪和日志收集
weixin_45647586的博客
12-02 4656
背景 随着项目的深入，久不久可能出现些问题，但是查询起来又极其麻烦，线上有三台服务器，不知道报错日志在那台上，很麻烦。所以领导要求把项目的链路追踪和日志给统一输出到elk中，可以实现在elk查询。 Zipkin+Sleuth链路追踪 先来实现zipkin+sleuth链路追踪功能，至于zipkin+sleuth是什么不多累赘，自己网上查询。本人使用的自己搭建的zipkin项目，话不多说，直接上干货： 导入包 <dependency> <groupId>io.zipkin.ja
kafka使用_kafka使用Interceptors实现消息端到端跟踪
weixin_39678304的博客
12-03 292
现在，Kafka指标的采集都仅包括客户端或broker，这使得用户跟踪消息在集群内的传递路径，构建系统端到端的性能和行为画像变的困难。从技术上讲，通过修改应用以收集或跟踪额外的信息来测量系统端到端的性能是可行的，但对于关键的基础设施应用来说，这种方案并不一定是切实可行的。在生产环境中，能够快速部署工具来观察，测量和监控Kafka客户端行为(粒度直至消息级别)，是非常有用的。同时，不同应用...
Linux/Mac 部署kafka、Zipkin，Zipkin整合kafka实现链路追踪
m0_52208135的博客
01-15 1163
SpringCloudAlibaba集成Sleuth+Zipkin，Mac环境部署kafka，并使用kafka记录链路。
消息队列 - Kafka
niwoxiangyu的博客
01-17 1657
Kafka 基础概念 Topic & Partition Producer & Consumer Leader & Follower 数据可靠性 性能优化
一、Kafka简介.docx
06-02
【Kafka】是一种分布式发布-订阅消息系统，由Apache开发，设计目的是为了处理大规模的数据流。...通过这样的集成，Kafka能够帮助处理从数据收集、存储、处理到分析的整个链路，满足实时和离线数据分析的需求。
Kafka hdfs flume 数据采集实验
11-17
整个过程展示了大数据实时采集、处理和存储的典型应用场景，涵盖了从关系型数据库到分布式消息队列，再到分布式文件系统的完整链路。这样的实验有助于理解和掌握大数据环境下的数据流动和处理机制。
Kafka生产环境问题总结与性能优化实践
12-25
消息乱序可能由重试机制引起，Kafka默认并不保证全链路消息顺序。要确保消息顺序，需将所有有序消息发送到同一分区，并使用单个消费者进行顺序消费，但这会牺牲一部分性能。一种折衷方案是将消息暂存到内存队列，...
使用seatunnel同步Kafka的数据到clickhouse（保姆级）
最新发布
03-15
通过理解Kafka的实时消息传递、Seatunnel的数据集成能力以及ClickHouse的高性能分析特性，可以构建出高效的数据处理链路。这个保姆级指南覆盖了从安装到配置的全过程，对于初学者来说是非常实用的参考资料。
拨开迷雾：利用全链路消息跟踪揭示系统奥秘
whalecloud的博客
08-07 2146
为每个数据链路环节定义清晰的输入和输出数据，以及数据的转换和处理过程。明确每个环节之间的数据传递方式和规则。
kafka生产者客户端链路架构梳理
搓搓那年时光静好
08-28 1341
是早在Kafka 0.10.0.0中就已经引入的一个功能，Kafka一共有两种拦截器：生产者拦截器和消费者拦截器。生产者拦截器既可以用来在消息发送前做一些准备工作，比如按照某个规则过滤不符合要求的消息、修改消息的内容等，也可以用来在发送回调逻辑前做一些定制化的需求，比如统计类工作。自定义实现org.apache.kafka.clients.producer.ProducerInterceptor接口。......
Kafka生产者源码解析（三）——Sender
齐天小圣^O^ 的博客
01-22 745
1、Sender线程何时被创建的 2、Sender什么时候被唤醒 3、Run方法做了什么
SpringCloud从入门到放弃之链路追踪二(Sleuth+Zipkin+Kafka+Logstash)
qq_33479841的博客
04-19 3085
1.概述 2.链路数据存储 2.1 Kafka
Kafka系列之：消息路由
zhengzaifeidelushang的博客
09-10 1425
Kafka系列之：消息路由
SpringClud Sleuth + Zipkin + Kafka实现分布式链路追踪
weixin_43566803的博客
04-24 2412
SpringClud Sleuth + Zipkin + Kafka实现分布式链路追踪使用步骤 使用步骤 1.导入.pom 依赖 <!-- zipkin = spring-cloud-starter-sleuth + spring-cloud-sleuth-zipkin--> <dependency> <groupId>org.springframework.cloud</groupId> &lt
kafka主题支持路由功能
lixia0417mul2的博客
07-10 769
kafka路由 kafka模拟rabbitmq路由设计
Springboot 链路日志发送kafka
06-01
可以通过使用 Spring Cloud Sleuth 和 Spring Cloud Stream 实现在 Spring Boot 应用中将链路日志发送到 Kafka。 首先，在 pom.xml 文件中添加以下依赖： ```xml <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-sleuth</artifactId> </dependency> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-stream-kafka</artifactId> </dependency> ``` 然后，在 application.yml 文件中配置 Sleuth 和 Kafka： ```yaml spring: application: name: my-application sleuth: sampler: probability: 1.0 cloud: stream: kafka: binder: brokers: localhost:9092 bindings: my-log-output: destination: my-topic ``` 接下来，在应用中添加一个 LogMessage 类来表示要发送到 Kafka 的日志信息： ```java public class LogMessage { private String traceId; private String spanId; private String message; // getters and setters } ``` 然后，在应用中使用 Sleuth 记录链路日志，并将日志信息发送到 Kafka： ```java @RestController public class MyController { private final Tracer tracer; private final MessageChannel myLogOutput; public MyController(Tracer tracer, MessageChannel myLogOutput) { this.tracer = tracer; this.myLogOutput = myLogOutput; } @GetMapping("/hello") public String hello() { Span span = this.tracer.nextSpan().name("my-span").start(); try (Tracer.SpanInScope ws = this.tracer.withSpan(span)) { String traceId = span.context().traceIdString(); String spanId = span.context().spanIdString(); String message = "Hello, world!"; LogMessage logMessage = new LogMessage(); logMessage.setTraceId(traceId); logMessage.setSpanId(spanId); logMessage.setMessage(message); this.myLogOutput.send(new GenericMessage<>(logMessage)); return message; } finally { span.end(); } } } ``` 这样，当应用处理请求时，它将使用 Sleuth 记录链路日志，并将日志信息发送到 Kafka 中的 "my-topic" 主题中。你可以通过消费该主题中的消息来实现对链路日志的监控和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值