大数据开发
文章平均质量分 62
小航SDB
大数据专业学生,喜欢各种整活,从事爬虫工作。
展开
-
实现指定的时间间隔来消费Kafka消息
在python中这 kafka-python 和confluent_kafka 可以与kafka进行交互,kafka-python的易用性高、兼容性高、与Python生态系统的整合以及良好的代码可读性和可维护性,confluent_kafka底层使用了librdkafka库(一个高度优化过的C语言实现),所以其具有低延迟和高吞吐量的数据传输,其实在我们接触数据吞吐量不大的情况下,两者几乎没有什么差异,用法也大致相同,那么本篇就使用kafka-python来实现。原创 2024-05-31 18:22:14 · 550 阅读 · 2 评论 -
Kafka生产者携带Headers发送消息给消费者出现的各种报错问题
当kafka配置设置了 api_version 这个参数并且版本低于等于0.10就会出现这个错误,以及headers发送后消费者消费消息为空。原创 2024-05-09 16:57:16 · 298 阅读 · 1 评论