pykafa Producer get_producer 5秒发送一次消息，__consumer_offsets生成大量日志问题

最新推荐文章于 2022-06-20 20:31:45 发布

meiguopai1

最新推荐文章于 2022-06-20 20:31:45 发布

阅读量994

点赞数

分类专栏： python kafka pykafka

本文链接：https://blog.csdn.net/meiguopai1/article/details/101773870

版权

本文分享了使用PyKafka发送和消费数据时遇到的两个问题及解决方案。问题一在于生产者每隔5秒发送一次消息，通过调整linger_ms参数为0以提高效率。问题二是在消费者端，`__consumer_offsets`主题生成大量日志导致磁盘空间快速耗尽，通过增大auto_commit_interval_ms到60000ms来减少日志写入频率，从而解决磁盘空间问题。

摘要由CSDN通过智能技术生成

python 通过 pykafka 发送数据和消费数据，遇到两个问题，与大家分享下。

问题1

1. 通过pykafa 发送数据时候，每隔5s才发送一次，几百万数据，效率大大影响。

生产者只有get_producer 方法，当前参数 ack_timeout_ms=1000, linger_ms=5000只有两个。

查询官网 https://pykafka.readthedocs.io/en/latest/api/producer.html

linger_ms 参数默认为5000，刚好5s，修改为0，来了就发送。

linger_ms (int) – This setting gives the upper bound on the delay for batching: once the producer gets min_queued_messages worth of messages for a broker, it will be sent immediately regardless of this setting. However, if we have fewer than this many messages accumulated for this partition we will ‘linger’ for the specified time waiting for more records to show up. linger_ms=0 indicates no lingering - messages are sent as fast as possible after they are