本文介绍了如何使用librdkafka库进行Kafka的数据收发，包括安装方法、High-level与Simple消费者的区别。重点讲解了producer的rd_kafka_produce()和rd_kafka_produce_batch()函数，以及consumer建立句柄和连接broker的基本步骤。此外，还提到了Kafka的主要用途——作为数据生产和消费的工具。
1 安装方法以及相关库文件
https://github.com/edenhill/librdkafka
2
- High-level producer
- High-level consumer
- Simple (Low-level) consumer
- 压缩：snappy, gzip, lz4
- SSL
- SASL
consumer有两套API，高级(high-level)和底层(simple)的，应该叫底层API或者低级API，它跟高级API的区别是没有自动负载均衡，而高级API会自动进行负载均衡。
3 kafka主要的用途
发数据---->producer
//发一条
rd_kafka_produce()
//发多条
rd_kafka_produce_batch()
收数据---->consumer
在收发数据之前至少需要一个统一的句柄，方便kafka内部准备好链接brokers集群，初始化kafka内部结构等
建立这个kafka句柄需要知道连接到哪个broker
发布消息使用rd_kafka_top_t,
最低0.47元/天 解锁文章
249
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
