rdkafka接口说明

一、主要数据结构

1、typedef struct rd_kafka_conf_s rd_kafka_conf_t;

rd_kafka_conf_t是kafka的全局配置结构,通过rd_kafka_conf_new()创建,创建时即进行了默认配置,通过rd_kafka_conf_set()设置参数值,是rd_kafka_new()创建kafka处理句柄的第二个参数,是必须创建的结构。

2、typedef struct rd_kafka_topic_conf_s rd_kafka_topic_conf_t;

rd_kafka_topic_conf_t主题配置结构,通过rd_kafka_topic_conf_new()创建,创建时即进行了默认配置,通过rd_kafka_topic_conf_set()设置参数值,是必须创建的结构。

3、typedef struct rd_kafka_s rd_kafka_t;

rd_kafka_t 是kafka 处理句柄结构,分为producer类型和consumer类型,由rd_kafka_new()第一个参数类型决定。rd_kafka_t是一个总体结构,conf和topic_conf都是为此结构服务,其中包含rk_brokers链表,rk_topics链表,是必须创建的结构。

4、typedef struct rd_kafka_topic_partition_list_s rd_kafka_topic_partition_list_t;

rd_kafka_topic_partition_list_t 可扩展长度的 主题-分区 链表,通过rd_kafka_topic_partition_list_new()创建,创建时指定长度,通过rd_kafka_topic_partition_list_add()添加 主题-分区对,用于订阅消息。

 

二、主要接口

1、rd_kafka_conf_t *rd_kafka_conf_new (void)

参数:无

返回值:rd_kafka_conf_t *

创建一个kafka全局配置结构,并进行默认初始化设置,返回其引用指针。

2、rd_kafka_conf_res_t rd_kafka_conf_set (rd_kafka_conf_t *conf,

                                       const char *name,

                                       const char *value,

                                       char *errstr, size_t errstr_size)

参数:

conf:配置结构

vame:配置项名称

value:配置项值

errstr:错误提示

errstr_size:错误提示长度

返回值:rd_kafka_conf_res_t 枚举,错误写入errstr中

name具体的名称及作用见rd_kafka_properties _RK_GLOBAL类型的数据定义。调用这个函数后再调用rd_kafka_conf_set_default_topic_conf()会将之前设置的值全部用默认值覆盖掉。因为错误提示会写入errstr中,所以提前给errstr分配512字节空间。

bootstrap.servers

 

3、rd_kafka_topic_conf_t *rd_kafka_topic_conf_new (void)

参数:无

返回值:rd_kafka_topic_conf_t *

创建一个主题配置结构,并进行默认初始化设置,返回其引用指针。

4、rd_kafka_conf_res_t rd_kafka_topic_conf_set (rd_kafka_topic_conf_t *conf,

     const char *name,

     const char *value,

     char *errstr, size_t errstr_size)

参数:

Conf:主题配置结构

Name:主题配置项名称

Value:主题配置项值

Errstr:错误提示

errstr_size:错误提示长度

返回值:rd_kafka_conf_res_t 枚举,错误写入errstr中

name具体的名称及作用见rd_kafka_properties _RK_TOPIC类型的数据定义。因为错误提示会写入errstr中,所以提前给errstr分配512字节空间。

5、rd_kafka_t *rd_kafka_new (rd_kafka_type_t type, rd_kafka_conf_t *app_conf,

  char *errstr, size_t errstr_size)

参数:

Type:RD_KAFKA_PRODUCER是创建生产者类型,RD_KAFKA_CONSUMER是创建消费者类型

Conf:配置结构

Errstr:错误提示

errstr_size:错误提示长度

返回值:

成功:返回rd_kafka_t *kafka操作句柄

失败:返回NULL,并记录错误信息到errstr

程序中先配置conf和topic_conf,然后调用此接口生成操作句柄。对消费者来讲,订阅主题,轮询接收消息。对生产者来讲,根据主题生成主题操作句柄,并通过主题操作句柄发送消息。

6、void rd_kafka_destroy (rd_kafka_t *rk)

参数:

Rk:kafka操作句柄

返回值:无

释放创建的kafka操作句柄。

6、rd_kafka_topic_t *rd_kafka_topic_new (rd_kafka_t *rk, const char *topic,

                                      rd_kafka_topic_conf_t *conf)

参数:

Rk:kafka操作句柄

Topic:主题内容

Conf:主题配置

返回值:

成功:返回rd_kafka_topic_t * 主题操作句柄

失败:返回NULL,记录错误信息到errstr

此接口一般是生产者使用,使用此接口生成的主题操作句柄进行发送消息。

7、void rd_kafka_topic_destroy (rd_kafka_topic_t *app_rkt)

参数:

app_rkt:主题操作句柄

返回值:无

释放创建的主题操作句柄

8、int rd_kafka_produce (rd_kafka_topic_t *rkt, int32_t partition,

      int msgflags,

      void *payload, size_t len,

      const void *key, size_t keylen,

      void *msg_opaque)

参数:

Rkt:主题操作句柄

Partition:分区号

Msgflags:消息标志,使用RD_KAFKA_MSG_F_COPY标志

Payload:消息体指针

Len:消息体长度

Key:消息选项key值,用作平衡分区,计算分区号的,填NULL

Keylen:key长度,填0

msg_opaque:是作为回调函数的参数,填NULL

10、int rd_kafka_poll(rd_kafka_t *rk, int timeout_ms)

参数:

Rk:kafka操作句柄

timeout_ms:毫秒级时间

返回值:处理的事件数

发送完消息后调用此接口,timeout_ms是毫秒级的时间,函数会阻塞timeout_ms 毫秒等待事件处理,调用设置的回调函数。timeout_ms为0是非阻塞状态。

11、rd_kafka_resp_err_t rd_kafka_flush (rd_kafka_t *rk, int timeout_ms)

参数:

Rk:kafka操作句柄

timeout_ms:毫秒级时间

返回值:

成功:RD_KAFKA_RESP_ERR_NO_ERROR

失败:RD_KAFKA_RESP_ERR__TIMED_OUT

在摧毁生产者之前调用此接口,确保正在排队和正在进行的消息被处理完成。此函数会调用rd_kafka_poll()并触发回调。

12、int rd_kafka_brokers_add (rd_kafka_t *rk, const char *brokerlist)

参数:

Rk:kafka操作句柄

Brokerlist:broker字符串 如:”172.20.51.38:9092” 不写端口,则采用默认端口9092

   多个broker  brokerlist = "broker1:10000,broker2"

返回值:成功添加的broker个数

添加一个broker也可以通过 设置rd_kafka_conf_t结构中的 "bootstrap.servers" 配置项

rd_kafka_conf_set(conf, "bootstrap.servers", brokers, errstr, sizeof(errstr))

13、rd_kafka_resp_err_t rd_kafka_poll_set_consumer (rd_kafka_t *rk)

参数:

Rk:kafka操作句柄

返回值:rd_kafka_resp_err_t 枚举

将消息重定向到了消费者队列,可以使用rd_kafka_consumer_poll()进行取消息。

14、rd_kafka_topic_partition_list_t *rd_kafka_topic_partition_list_new (int size)

参数:size是topic结构的个数

返回值:无



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值