librdkafka producer封装的一点总结

最新推荐文章于 2024-09-19 08:39:50 发布

1943kevin

最新推荐文章于 2024-09-19 08:39:50 发布

阅读量1.2k

点赞数 1

分类专栏： #librdkafka 文章标签：队列 kafka

本文链接：https://blog.csdn.net/weixin_39158741/article/details/104918595

版权

本文总结了librdkafka producer在处理内部队列满时的策略，包括设置队列长度和消息超时时间，以及如何利用DeliveryReportCb处理超时数据，避免数据丢失。在程序退出时，通过调用flush方法和序列化缓存队列到本地文件，确保数据完整性。探讨了librdkafka内部队列可能导致的数据丢失问题及其解决方案。

摘要由CSDN通过智能技术生成

librdkafka的producer有一个内部的队列，我们可以设置队列的最大长度（或者内存），队列满了之后，调用produce接口会返回RdKafka::ERR__QUEUE_FULL，此时可以把数据重新添加到我们自己的缓存队列
比如将队列长度设置为10000，

if (conf->set("queue.buffering.max.messages", "10000", errstr) != RdKafka::Conf::CONF_OK) {
   
			printf_s("RdKafka conf set brokerlist failed :%s\n", errstr.c_str())