日志服务 kafka消息积压问题

整体流程：mysql---->maxwell------>maxwellkafkaproducer------>kafkabroker------->kafka消费者(listener)
------>落盘到日志库
问题原因：因为消费者存在瓶颈，造成数据大量积压

查看消费者的积压情况

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group  defaultConsumerGroup

可以看到积压了8万多条，大概每秒积压1000条左右

GROUP                TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                          HOST            CLIENT-ID
defaultConsumerGroup maxwell         0          2609090         2691726         82636   

重置offset，问题没有根本解决

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group defaultConsumerGroup --topic maxwell --execute --reset-offsets --to-offset 2606579

解决
1.增加分区,开启多个消费者并行消费

2.生产者方面
接入的生产者是maxwell，订阅mysql binlog日志,一开始maxwellkafkaproducer 大量打印timeoutexcetion，这个不是什么问题，忽略即可,等待maxwell消费完log日志即可