sidekiq强大的异步任务处理

本篇介绍sidekiq基于redis队列的后端的异步任务处理,当然还有定时任务,延时处理等功能。

sidekiq的宣传语:

What if 1 Sidekiq process could do the work of 20 Resque or DelayedJob processes?

1.定义异步处理worker类
 
app/worker/hard_work.rb

class HardWorker
      include Sidekiq::Worker
      sidekiq_options :queue => 'phoenix_job' , :timeout => 60, :retry => true, :backtrace => true

      def perform(options,count=5)
          puts 'do'
      end
end
 

2.加载workers目录
 
application.rb

config.autoload_paths += %W(#{Rails.root}/app/workers)
 

3.加入异步任务处理队列
 
app/controllers/**_controller.rb

HardWorker.perform_async(params)
 

4.sidekiq.yml配置文件
 
config/sidekiq.yml


:verbose: false
:pidfile: ./tmp/pids/sidekiq.pid
:logfile: ./log/sidekiq.log
:queues:
  - [phoenix_job,7]
  - [default, 2]

staging:
  :concurrency: 5
development:
  :concurrency: 5
production:
  :concurrency: 50
 

5.配置sidekiq链接redis

config/initialiizers/sidekiq.rb
 
      ENV["REDISTOGO_URL"] = "redis://username:.password@host:port}"
 

6.unicorn运行after_fork配置
unicorn.rb

after_fork do |server, worker|

ENV["REDISTOGO_URL"] = "redis://username:.password@host:port}"
 

end


7.运行,停止命令
 
stop.sh

bundle exec sidekiqctl quiet tmp/pids/sidekiq.pid
bundle exec sidekiqctl stop tmp/pids/sidekiq.pid
 

start.sh

bundle exec sidekiq  -C config/sidekiq.yml -d -e production
 
感觉比resque好用多了,在断网自动重连,日志文件,pid文件,部署,性能等方面都要好。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Celery是一个Python的分布式任务队列,可以处理大量的异步任务。它可以轻松地将任务分配给多个工作进程,并在完成后将结果返回到调用方。 以下是使用Celery处理异步任务的步骤: 1. 安装Celery 可以使用pip命令安装Celery: ```python pip install celery ``` 2. 创建Celery实例 在项目中创建一个Celery实例,可以使用以下代码: ```python from celery import Celery app = Celery('tasks', broker='pyamqp://guest@localhost//') ``` 该代码创建了一个名为“tasks”的Celery实例,使用“pyamqp://guest@localhost//”作为代理。 3. 定义任务 定义一个需要异步执行的任务,例如: ```python @app.task def add(x, y): return x + y ``` 该代码定义了一个名为“add”的任务,接受两个参数x和y,并返回它们的和。 4. 启动工作进程 使用以下命令启动工作进程: ```python celery -A tasks worker --loglevel=info ``` 该命令将启动一个名为“tasks”的Celery应用程序,并使用默认的代理。 5. 调用任务 现在可以调用“add”任务,例如: ```python result = add.delay(4, 4) ``` 该代码将启动一个异步任务,将参数4和4传递给“add”任务,并返回一个AsyncResult对象。 6. 获取任务结果 可以使用以下代码获取任务结果: ```python result = add.delay(4, 4) result.wait() ``` 该代码将等待异步任务完成,并返回任务结果。 以上就是使用Celery处理异步任务的基本步骤。使用Celery还有其他高级功能,例如定时任务任务重试、任务结果存储等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值