flume高并发优化——（16）解决offsets变小问题

最新推荐文章于 2022-04-13 23:31:40 发布

置顶

ESOO

最新推荐文章于 2022-04-13 23:31:40 发布

阅读量2.5k

点赞数 1

分类专栏：大数据架构 flume kafka channel flume高并发优化文章标签：优化并发 flume

本文链接：https://blog.csdn.net/xvshu/article/details/76419360

版权

本文详细介绍了在Flume高并发环境下如何解决offsets变小的问题，通过分析源码发现，Flume自身管理的topic-offsets关系是关键。在初始化offsets时，通过与Kafka对比来避免问题。此外，针对offsets变化导致的消费重复，提出了调整分区策略，改为自动提交并确保分区数大于消费者数。通过对源码的深入理解，能有效解决这类问题。

摘要由CSDN通过智能技术生成

offsets初始化

在上篇博客中《flume高并发优化——（14）解决空行停止收集数据问题，及offsets变小问题》我们遗留了一个小问题，就是offsets变小的问题，迟迟未解决，经过研究flume代码发现，flume中，是自己管理offsets关系的，每个kafkachannel的代码中保留了一份topic-offsets的关系，源码：

@Override
  public void start() {
    try {
      logger.info("=KafkaChannel.start=> begin " + getName());
      // As a migration step check if there are any offsets from the group stored in kafka
      // If not read them from Zookeeper and commit them to Kafka</