librdkafka是kafka官方推荐的c client端开源库。本文基于librdkafka_0.8, 对该库作简要介绍,同时对使用过程中遇到的一些问题做个总结
一、模块介绍
librdkafka主要分为config,topic,produce,consume几个模块
config
依据kafka相应的config文件字段定义
先通过默认配置文件创建confg对象,再通过confg的set方法设置需要覆盖的字段
参考: http://blog.csdn.net/beitiandijun/article/details/40582541
topic
支持一个producer创建多个topic(比如bid,wn等类型的日志)
创建主题方法rd_kafka_topic_new逻辑:
检查是否有同名可用topic ==> 检查tconf为空则以默认配置创建 ==>
检查partitioner未配置则配置为随机方法(从0,pcnt-1中选取partition) ==> 创建分区号为默认值RD_KAFKA_PARTITION_UA
的分区,并将topic插入队尾
partitioner类回调方法需自己实现
produce
kafka对象创建方法
rd_kafka_t *rd_kafka_new (rd_kafka_type_t type, rd_kafka_conf_t *conf,
char *errstr, size_t errstr_size)
- 1
- 2
- 1
- 2
检查config对象,创建事件循环主线程rd_kafka_thread_main
,通过rd_kafka_brokers_add
创建io事件循环子线程rd_kafka_broker_thread_main
,将消息追加到队列, 并在io方法rd_kafka_broker_io_serve
中分发处理socket connect,send,recv事件
消息生产方法
int rd_kafka_produce (rd_kafka_topic_t *rkt, int32_t partition,
int msgflags,
void *payload, size_t len,
const void *key, size_t keylen, void *msg_opaque)
- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
- 4
- 5
参数key用于partitioner hash生成partition 值
参数partition默认为RD_KAFKA_PARTITION_UA
,即未分配状态,在创建消息方法rd_kafka_msg_new
检查发现partition为默认值,则调用partitioner回调函数生成partition值
consume
创建config,topic及kafka对象流程相同
二、 问题探讨
1.验证kafka超出数据保存设置时间后数据的有效性
通过以下设置,可开启kafka数据超时删除功能:
kafka server配置文件server.properties中设置
开启超时删除(false值为删除)
log.cleaner.enable
设置删除检测间隔
log.retention.check.interval.ms
设置超时时间
log.retention.hours 或
log.retention.minutes
producer中设置topic config属性
cleanup.policy=delete和
retention.ms
验证结果:超时数据被删除后不可再访问
2.kafka数据超时删除后,对新生产的数据访问方式
consumer offset输入参数设置为-2,即Topic::OFFSET_BEGINNING,读取有效数据起始位置
3.kafka删除超时数据并生产新数据后,消费者消费完新数据重启后获取新offset方式
consume recv时返回的offset,即为已消费的最后一个数据,resume重启后获取新的起始offset为:
offset_new=offset+1
4.一个connection是否可以配置多个topic?
支持,一个kafka实例可以创建多个topic
5.一个topic是否可以配置多个partition?
kafka支持一个topic配置多个partition,但是限于需要保证数据的顺序性,只能配置1个partition
6.发送数据时是否需要指定topic和partition以及如何指定?
首先,必须指定topic;其次,对于partition,有两种方式:
a. 明确指定,则数据被发送到指定partition
b. 设置为RD_KAFKA_PARTITION_UA,则kafka会回调partitioner进行均衡选取,partitioner方法需要自己实现。可以轮询或者传入key进行hash。未实现则采用默认的随机方法rd_kafka_msg_partitioner_random
随机选择。
7.接收数据时是否需要指定topic和partition以及如何指定?
都必须指定,且partition必须为topic对应的partitions之一。若未指定partition(RD_KAFKA_PARTITION_UA),消费调用将失败。超出partitions范围,则该partition将被设置为desired
8.Kafka是否可以保证消息顺序?
kafka仅支持单个partition上的顺序性,要保证整个topic在被消费时的顺序性,一个topic只能有一个partition,这也意味着每个group只有一个consumer。因为一个partition只能被同一group中
的一个consumer消费。
Kafka only provides a total order over messages within a partition, not between different partitions in a topic. Per-partition ordering combined with the ability to partition data by key is sufficient for most applications. However, if you require a total order over messages this can be achieved with a topic that has only one partition, though this will mean only one consumer process per consumer group.
https://kafka.apache.org/documentation.html
9.Kafka的多个partition之间负载均衡由谁实现?
由producer负责实现。参照第6条
在librdkafka基础上,我封装了一个c++版本客户端,包含producer及consumer, demo及源码在github上KafkaClient