kafka通信协议(二)

最新推荐文章于 2025-06-22 21:44:37 发布
转载 最新推荐文章于 2025-06-22 21:44:37 发布 · 298 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/hncscwc/blog/1577564
文章标签：

#大数据 #python

本文详细介绍了如何使用Sarama Go客户端与Kafka进行交互，包括消息的生产和消费过程。通过抓包的方式展示了SASL握手、认证、元数据获取、消息偏移量获取以及消息获取的具体细节。

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1. produce抓包

通过sarama(go客户端)向kafka中名为"test"的topic发送一条消息，其内容为"hello world"。

  • 具体的抓包内容如下

  • 前面两个请求为SASL握手及认证

  • 最后为Produce请求

  • produce请求的响应

2. consuemr抓包

通过sarama向kafka中名为"test"的topic进行消息的消费。

具体的抓包内容

注：首先建立连接向Broker获取元数据信息，然后建立连接向topic的partition消费消息。

  • Metadata请求

  • ListOffsets请求

注：实际上进行了两次请求，两次请求的时间戳分别为-1、-2，响应结果的offset也有区别。

  • Fetch请求

  • fetch请求响应结果

转载于:https://my.oschina.net/hncscwc/blog/1577564

Kafka的内部通信协议
sosovo66的博客
01-29 1126
kafka内部用到的常见协议和优缺点可以看看原文本文奖详细探究kafka核心通信协议和高性能的关键。
Kafka的通讯协议
热门推荐
jewes的专栏
01-15 3万+
Kafka的通讯协议 标签:kafka Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协议的相关内容。 基本数据类型 定长数据类型：int8,int16,int32和int64，对
Kafka学习总结（三）——kafka通信协议
平凡之路无尽路的博客
04-19 3万+
此博客总结学习以及借鉴其他博文；参考资料：译文：点击打开链接 资料：API方式调用Kafka各种协议的方法点击打开链接 ...
Kafka学习(三)：Kafka的内部机制深入(持久化，分布式，通讯协议)
Java面试辅导-海龟老师
03-16 9302
一.Kafka的持久化 1.数据持久化：      发现线性的访问磁盘（即：按顺序的访问磁盘），很多时候比随机的内存访问快得多，而且有利于持久化；     传统的使用内存做为磁盘的缓存     Kafka直接将数据写入到日志文件中，以追加的形式写入 2.日志数据持久化特性：        写操作：通过将数据追加到文件中实现    读操作：读的时候从文件中读就好了
kafka协议
耿小渣的进阶之路
11-28 5898
一、简介 Kafka 是一个高吞吐量、分布式的发布—订阅消息系统。据Kafka 官方网站介绍，当前的Kafka 已经定位为一个分布式流式处理平台（a distributed streaming platform），它最初由LinkedIn公司开发，后来成为Apache 项目的一部分。Kafka 核心模块使用Scala 语言开发，支持多语言（如Java、C/C++、Python、Go、Erlang...
kafka通信协议(一)
weixin_34206899的博客
11-22 1077
2019独角兽企业重金招聘Python工程师标准>>> ...
KAFKA协议解析和流量构造
weixin_44176192的博客
11-02 995
kafka协议格式解析及基本搭建
Kafka实现内部机制（持久化和通信协议）
u010020099的专栏
09-03 2264
源文章地址：https://blog.csdn.net/ZuoAnYinXiang/article/details/50902425 一.Kafka的持久化 1.数据持久化：      线性的访问磁盘（即：按顺序的访问磁盘），很多时候比随机的内存访问快得多，而且有利于持久化      传统的使用内存做为磁盘的缓存      Kafka直接将数据写入到日志文件中，以追加的形式写入 2.日志...
Kafka 深入服务端 — 协议设计与控制器
KEEP CODING
01-27 763
Kafka 自定义了一组基于TCP的二进制协议，只要遵守这组协议的格式，就可以向Kafka发送消息，也可以从Kafka中拉取消息，或者做些其他事。 Kafka集群中有且只有一个broker会被选举为控制器，它负责管理整个集群中所有分区和副本的状态。
Kafka底层通信机制的深入理解：实现系统网络性能飞跃
YtCompiler的博客
09-27 277
对于理解Kafka的底层通信机制，并在此基础上进行优化，可以显著提升系统的网络性能。最后，Kafka作为一种强大的分布式消息队列系统，在大规模数据处理和实时流处理中发挥着重要的作用。需要注意的是，不同的应用场景和需求可能需要采用不同的优化策略，因此在实际应用中，建议根据具体情况进行调整和测试，以获得最佳的性能提升效果。在底层通信中，生产者与Kafka集群的每个Broker建立TCP连接，并将消息发送到特定的分区。在部署Kafka集群的服务器上，进行网络优化可以提升底层通信的性能。可以通过设置生产者的。
Kafka协议记录解析
WdzDevops的博客
09-21 190
Kafka协议定义了Producer和Consumer之间的通信规范，以及消息记录（Record）的结构和编码方式。在本文中，我们将详细介绍Kafka协议中消息记录的解析过程，并提供相应的源代码示例。总结起来，本文详细介绍了Kafka协议中消息记录的解析过程，并提供了一个使用Java语言解析消息记录的示例代码。通过理解和掌握Kafka协议的消息记录结构和解析方式，你可以更好地理解和使用Kafka分布式流处理平台。最后，我们将解析后的字段进行打印输出，你可以根据实际需求对解析后的数据进行进一步处理。
wireshark 之 kafka协议分析2
编程随手记
04-19 2771
文章目录SASL认证SaslHandshake 握手协商请求响应协议分析SaslAuthenticate 请求响应协议分析MedaData 协议分析 SASL认证 kafka sasl认证分俩部 通过SaslHandshake api来进行握手协商 进行认证请求 SaslHandshake 握手协商请求响应协议分析 通过之前的api版本协商知道， SaslHandshake协议支持v0-v1版本，这里客户端使用v1版本 协议请求内容如下图： 从图中蓝底字开始 请求体长度（4个字节）—— 值40(
Kafka网络模型和通信流程剖析
csdn_manong1的博客
09-27 656
通过认真阅读和分析Kafka的网络通信层代码，可以收获不少关于NIO的网络通信知识。通过对Kafka的源代码进行阅读和学习，这对大规模Kafka集群性能的调优和问题定位排查是很有帮助的。
kafka的介绍
IT晓白
11-21 721
ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢？ 流媒体平台有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 记录发生时处理流。 Kafka通常用于两大类应用： 构建可在系统或应用程序之间可靠获取数据的实时流数据管道 构建转换或响应数据流的实时流应用程序 要了解Kafka如何做这些事情，让我们深入探讨Kafka的能......
Canal与Kafka数据传输协议protocol buffer
百老讲数据
02-01 850
实时数仓开发中，利用Canal伪装slave获取MySQL的增量数据，获取后的数据由Kafka生产者接收，交由Flink实时流计算。白话文：安装一个protobuf-dt 2.2.1插件，将编写的proto文件发送给已经下载好的protoc.exe文件编译，编译后产生的Java文件要设置放置路径。下图中Java输出地址，不用写package的地址，因为package地址在proto文件中已写，如果是proto2的话，在写proto文件的时候语法不同，这里2.5.0也是可以的。3）安装protocol插件。
Kafka 协议到底是干什么的？一共包含哪些部分？使用场景是什么？底层原理是什么？
长风破浪会有时的博客
05-01 1527
Kafka 协议是 Apache Kafka 使用的一种专有二进制协议，用于客户端和 Broker 之间的通信。它是一种高效、低延迟的协议，支持消息的发布与订阅、元数据管理、分区分配等功能。通过 Kafka 协议，Kafka 实现了高效、可靠的分布式消息传递，成为现代大数据和实时处理系统的基石！
Kafka 源码剖析：消息存储与协议实现（二）
06-22 858
LogSegment 存储机制、索引文件设计、TCP 通信协议解析。
kafka的通信协议是什么？
最新发布
08-07
<think>Kafka使用自定义的二进制协议进行客户端与broker之间的通信。该协议设计高效，通过TCP实现，每个请求和响应都是二进制格式。协议支持多种类型的请求（如生产消息、消费消息、元数据请求等）。下面详细介绍Kafka通信协议的关键点： ### 1. **请求/响应结构** 每个请求和响应都包含一个头部和主体： - **请求头部**： - API Key（2字节）：标识请求类型（如PRODUCE、FETCH等） - API Version（2字节）：请求的API版本 - Correlation ID（4字节）：客户端生成的唯一ID，用于匹配请求和响应 - Client ID（字符串）：客户端标识（可选） - **请求主体**：特定于请求类型的数据 - **响应头部**： - Correlation ID（4字节）：与请求中的Correlation ID一致 - **响应主体**：包含响应数据和错误码 ### 2. **常见请求类型** | API Key | 名称 | 描述 | |---------|---------------|--------------------------| | 0 | PRODUCE | 生产者发送消息请求 | | 1 | FETCH | 消费者拉取消息请求 | | 3 | METADATA | 获取集群元数据 | | 8 | OFFSET_COMMIT | 提交消费位移 | | 9 | OFFSET_FETCH | 获取消费位移 | | 18 | SASL_HANDSHAKE| SASL握手请求 | | 19 | API_VERSIONS | 查询broker支持的API版本 | ### 3. **协议示例：PRODUCE请求** ```plaintext Request Header: API Key = 0 (PRODUCE) API Version = 7 (Kafka 1.0+) Correlation ID = 123 Client ID = "my-producer" Request Body: transactional_id = null acks = 1 timeout_ms = 5000 [topic_data]: topic_name = "test-topic" [partition_data]: partition_index = 0 record_set = [MessageSet] ``` ### 4. **协议示例：FETCH请求** ```plaintext Request Header: API Key = 1 (FETCH) API Version = 7 Correlation ID = 456 Client ID = "my-consumer" Request Body: replica_id = -1 (consumer) max_wait_ms = 500 min_bytes = 1 max_bytes = 52428800 isolation_level = 0 (read_uncommitted) [topics]: topic_name = "test-topic" [partitions]: partition_index = 0 fetch_offset = 12345 log_start_offset = -1 max_bytes = 1048576 ``` ### 5. **二进制编码示例** 以下伪代码展示PRODUCE请求的编码结构（简化版）： ```java // 伪代码：PRODUCE请求编码 ByteBuffer buffer = ByteBuffer.allocate(1024); // 请求头部 buffer.putShort(0); // API Key = 0 (PRODUCE) buffer.putShort(7); // API Version = 7 buffer.putInt(123); // Correlation ID putCompactString(buffer, "my-producer"); // Client ID (使用紧凑字符串) // 请求主体 buffer.putShort(0); // 事务ID（null表示为-1，但实际使用紧凑字符串，长度为-1表示null） buffer.putShort(1); // acks = 1 buffer.putInt(5000); // timeout_ms putCompactArray(buffer, topics); // 主题数组 // 主题数据 putCompactString(buffer, "test-topic"); // 主题名 putCompactArray(buffer, partitions); // 分区数组 // 分区数据 buffer.putInt(0); // 分区索引 putRecords(buffer, records); // 消息集 ``` ### 6. **实际协议实现** Kafka协议使用紧凑的二进制格式，并随着版本迭代不断优化（如KIP-482引入灵活版本头）。实际开发中，客户端库（如Java的`KafkaProducer`）会处理协议细节。 ### 7. **协议版本演进** Kafka协议支持版本协商： - 客户端发送`ApiVersionsRequest`查询broker支持的API版本 - broker返回支持的API版本列表 - 客户端选择双方都支持的版本进行通信 --- §§相关问题§§: 1. Kafka 协议中如何实现消息压缩？ 2. 在 Kafka 协议中，消费者组管理（如再平衡）是如何进行的？ 3. Kafka 协议如何保证向后兼容性？ 4. 如何通过抓包工具（如 Wireshark）分析 Kafka 协议数据包？</think># Kafka 通信协议详解 Kafka 使用自定义的二进制协议进行客户端与服务器之间的通信。该协议设计高效、紧凑，支持多种类型的请求和响应。以下是 Kafka 通信协议的全面解析： ## 一、协议核心特性 1. **二进制格式**：所有消息都采用二进制编码，而非文本格式（如 HTTP/JSON） 2. **请求-响应模型**：客户端发送请求，broker 返回响应 3. **TCP 基础**：基于 TCP 协议实现可靠传输 4. **零拷贝优化**：使用 `sendfile` 和 `mmap` 技术提高性能 5. **版本兼容**：支持协议版本协商和向后兼容 ## 二、协议结构 ### 请求结构（客户端 → Broker） ```plaintext +-------------------------------------------------------------------+ | 请求头 (Request Header) | +-----------------+-----------------+---------------+---------------+ | 字段长度 (4字节) | API Key (2字节) | 版本号 (2字节) | 关联ID (4字节) | +-----------------+-----------------+---------------+---------------+ | 客户端ID长度 (2字节) | 客户端ID (变长) | | +---------------------+---------------+--------------------------------+ | 请求体 (Request Body) | | (内容取决于API Key) | +-------------------------------------------------------------------+ ``` ### 响应结构（Broker → 客户端） ```plaintext +-------------------------------------------------------------------+ | 响应头 (Response Header) | +-----------------+-----------------------------------------------+ | 关联ID (4字节) | 响应体 (Response Body) | +-----------------+-----------------------------------------------+ | (内容取决于API Key) | +-------------------------------------------------------------------+ ``` ## 三、核心 API Key 类型 | API Key | 名称 | 功能描述 | |---------|------------------|----------------------------| | 0 | PRODUCE | 生产者发送消息 | | 1 | FETCH | 消费者拉取消息 | | 3 | METADATA | 获取集群元数据 | | 8 | OFFSET_COMMIT | 提交消费位移 | | 9 | OFFSET_FETCH | 获取消费位移 | | 10 | FIND_COORDINATOR| 查找协调器（用于消费组） | | 11 | JOIN_GROUP | 加入消费组 | | 12 | HEARTBEAT | 消费组心跳 | | 13 | LEAVE_GROUP | 离开消费组 | | 18 | SASL_HANDSHAKE | SASL 认证握手 | | 19 | API_VERSIONS | 查询 API 版本支持 | ## 四、协议实现示例（Java） ### 1. 元数据请求实现（METADATA） ```java import org.apache.kafka.clients.*; import org.apache.kafka.common.requests.*; import org.apache.kafka.common.protocol.types.*; public class KafkaProtocolDemo { // 构建元数据请求 public static MetadataRequest buildMetadataRequest(List<String> topics) { return new MetadataRequest.Builder(topics, true).build(); } // 解析元数据响应 public static void parseMetadataResponse(AbstractResponse response) { MetadataResponse metadataResponse = (MetadataResponse) response; System.out.println("集群控制器: " + metadataResponse.controller()); System.out.println("集群ID: " + metadataResponse.clusterId()); for (MetadataResponse.TopicMetadata topicMetadata : metadataResponse.topicMetadata()) { System.out.println("\n主题: " + topicMetadata.topic()); System.out.println("错误码: " + topicMetadata.error().code()); for (MetadataResponse.PartitionMetadata partition : topicMetadata.partitionMetadata()) { System.out.printf("分区 %d: 领导者 %d, 副本 %s, ISR %s\n", partition.partition(), partition.leader().id(), partition.replicas(), partition.inSyncReplicas()); } } } } ``` ### 2. 生产请求实现（PRODUCE） ```java public class KafkaProducerProtocol { // 构建生产请求 public static ProduceRequest buildProduceRequest(String topic, int partition, byte[] key, byte[] value) { MemoryRecordsBuilder builder = MemoryRecords.builder( ByteBuffer.allocate(1024), CompressionType.NONE, TimestampType.CREATE_TIME, 0L // baseOffset ); builder.append(0L, key, value); MemoryRecords records = builder.build(); Map<TopicPartition, MemoryRecords> recordsMap = new HashMap<>(); recordsMap.put(new TopicPartition(topic, partition), records); return new ProduceRequest.Builder( (short) 7, // acks: 0=无确认, 1=领导者确认, -1=所有ISR确认 5000, // 超时时间(毫秒) recordsMap ).build(); } } ``` ## 五、协议优化技术 ### 1. 批处理机制 ```mermaid graph LR A[生产者] -->|批量消息| B[Broker] B -->|批量响应| A ``` ### 2. 零拷贝数据传输 ```java // Kafka 使用 FileChannel.transferTo 实现零拷贝 FileChannel fileChannel = new FileInputStream(file).getChannel(); fileChannel.transferTo(position, count, socketChannel); ``` ### 3. 消息压缩 支持多种压缩算法： 1. GZIP (最高压缩率) 2. Snappy (低延迟) 3. LZ4 (平衡型) 4. Zstandard (Kafka 2.1+) ## 六、协议版本协商流程 1. 客户端发送 `ApiVersionsRequest` 2. Broker 返回支持的 API 版本范围 3. 客户端选择双方都支持的版本 4. 使用选定版本进行后续通信 ```java // 版本协商实现 ApiVersionsRequest request = new ApiVersionsRequest.Builder().build(); ApiVersionsResponse response = sendRequest(request); for (ApiVersionsResponse.ApiVersion version : response.apiVersions()) { System.out.printf("API Key %d: 支持版本 %d-%d\n", version.apiKey, version.minVersion, version.maxVersion); } ``` ## 七、协议安全性 1. **SASL 认证流程**： ```mermaid sequenceDiagram 客户端->>Broker: SASL_HANDSHAKE 请求 Broker-->>客户端: 支持的认证机制 客户端->>Broker: SASL_AUTH 请求(凭据) Broker-->>客户端: 认证结果 ``` 2. **SSL/TLS 加密**： ```java // Kafka SSL 配置示例 Properties props = new Properties(); props.put("security.protocol", "SSL"); props.put("ssl.truststore.location", "/path/to/truststore.jks"); props.put("ssl.truststore.password", "password"); props.put("ssl.keystore.location", "/path/to/keystore.jks"); props.put("ssl.keystore.password", "password"); props.put("ssl.key.password", "key-password"); ``` ## 八、协议性能优化 1. **请求合并**：将多个小请求合并为单个大请求 2. **响应压缩**：使用 LZ4 压缩响应数据 3. **直接缓冲区**：使用堆外内存减少 JVM GC 压力 4. **连接复用**：保持长连接减少 TCP 握手开销
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值