Sidekiq 迭代插件实战指南-CSDN博客

本文链接：https://blog.csdn.net/gitblog_01192/article/details/142021712

Sidekiq 迭代插件实战指南

sidekiq-iterationMake your long-running sidekiq jobs interruptible and resumable.项目地址:https://gitcode.com/gh_mirrors/si/sidekiq-iteration

项目介绍

Sidekiq-Iteration 是一个专为 Sidekiq 设计的扩展，旨在解决长运行作业的问题。在常规场景下，Sidekiq 鼓励创建短小且幂等的作业来处理后台任务。然而，在面对处理大量数据的长期运行作业时，部署更新或进程重启可能会导致作业中断，进而损失进度。Sidekiq-Iteration 版本自 v7.3 开始引入迭代作业功能，由 Dima Fatko 主导开发，允许作业声明自己为可迭代，通过将大作业分解为一系列元素逐个处理，实现优雅的中断和重启。

技术要求

Ruby: 2.7 及以上版本
Sidekiq: 6.0 或更高版本

项目快速启动

安装

首先，在您的项目 Gemfile 中添加以下行：

gem 'sidekiq-iteration'

随后执行安装命令：

$ bundle install

使用示例

为了让作业支持迭代，需将 SidekiqIteration::Iteration 模块混入，并定义相应的迭代方法。以下是一个基本的迭代作业示例：

class NotifyUsersJob
  include Sidekiq::Job
  include SidekiqIteration::Iteration

  def build_enumerator(cursor:)
    # 实现数据分批枚举逻辑，例如从数据库中按条件获取记录的批次
    users.each_slice(100).each_with_index.to_enum do |batch, index|
      { batch: batch, cursor: index }
    end
  end

  def each_iteration(item)
    user = item[:batch].first
    # 假设这里的逻辑是通知用户
    UserMailer.notify(user).deliver_now
  end
  
  # 可选的方法，用于处理迭代的不同生命周期事件，如 on_start, around_iteration 等。
end

确保配置好 Sidekiq 并正确地调度了此作业。

应用案例和最佳实践

假设您有一个需求，批量发送邮件给特定产品的评论者。通过迭代作业，您可以避免一次性加载所有数据导致的内存溢出，并能够恢复被中断的任务。

class BatchEmailsJob
  include Sidekiq::Job
  include SidekiqIteration::Iteration

  def build_enumerator(product_id, cursor:)
    Comment.where(product_id: product_id)
           .select(:id)
           .in_batches(of: 100, start: cursor)
           .to_enum
  end

  def each_iteration(comment)
    UserMailer.comment_notification(comment).deliver_now
  end
  
  # 强烈推荐实现 lifecycle 方法以增强控制和监控能力。
end