librdkafka 0.8 源码解析与bug分析

最新推荐文章于 2023-06-21 15:14:19 发布

auwzb

最新推荐文章于 2023-06-21 15:14:19 发布

阅读量7.7k

点赞数 1

分类专栏： Linux 文章标签： kafka rdkafka Linux Message Queue

本文链接：https://blog.csdn.net/auwzb/article/details/9665729

版权

本文深入解析librdkafka 0.8的源码，涵盖producer发送消息到内部缓冲队列、broker线程取消息及消息发送过程。分析了当Kafka集群中leader服务器不可用时，librdkafka无法发送消息的bug，指出问题在于librdkafka未在socket关闭后重新获取metadata。

摘要由CSDN通过智能技术生成

librdkafka 0.8 的官网 https://github.com/edenhill/librdkafka/tree/0.8-wip

这份代码是我现在能够看到的最新的代码，在未来的版本中代码会发生改动。为了方便查看我现在所分析的源码，我已经将它上传到资源http://download.csdn.net/detail/auwzb/5844679。

在这篇文章中，我将结合源码介绍关于 librdkafka 0.8 的一些内容。详情如下：

A. producer 发送消息到内部的缓冲队列的过程

B. broker 线程从内部的缓冲队列取消息的过程

C. 消息通过系统调用sendmsg发送出去的过程

这3个过程的介绍将是连贯的。

一、 producer 发送消息到内部的缓冲队列的过程

1. librdkafka 0.8的example中发送消息的函数如下。

/* Send/Produce message. */
rd_kafka_produce(rkt, partition,
        RD_KAFKA_MSG_F_COPY,
        /* Payload and length */
        buf, len,
        /* Optional key and its length */
        NULL, 0,
        /* Message opaque, provided in
         * delivery report callback as
         * msg_opaque. */
        NULL);

2. rdkafka.c:523~532

（注：这里所说的行数都是源码中对应的行数）