【Python】rq队列的使用

最新推荐文章于 2024-09-12 22:48:00 发布
最新推荐文章于 2024-09-12 22:48:00 发布
阅读量1.2k 收藏 2
点赞数
文章标签： python 数据库
本文介绍了Python中RQ任务队列的基本概念，包括Job、Queue、Worker等核心组件的作用及使用方法，并通过一个完整的示例展示了如何创建Job、将其放入Queue以及由Worker执行的过程。
摘要由CSDN通过智能技术生成

1. 什么是Job？

Job直译过来就是工作，可以是任意的Python函数，你可以把你想要异步执行的任务都写成Job函数。简而言之，Job就是你想执行的操作。例如，我想统计任意网页的字符数量，可以写一个这样的Job函数： 

import requests 
def count_words(url): 
    return len(requests.get(url).text.split())

这样一个函数就可以称之为Job。

2. 什么是Queue？

当我有很多Job时，假如我现在有3个Job，分别是j1、j2、j3，那么当计算机要执行这些任务的时候，会按照j1、j2、j3加入的顺序来执行这些Job，这样的一个可以忘里面添加Job，并且能够顺序执行队列称之为Queue。

例如，我们可以这样来构建一个Queue： 

import redis from rq import Queue


redis_conn = redis.Redis()
q = Queue('default', connection=redis_conn) # 第一个参数是Queue的名称，可以不传，默认为default

3. 怎么把Job放到队列里面去？ 

j = q.enqueue(count_words, args=('https://www.baidu.com',))

enqueue第一参数是Job函数，args是Job函数的参数，关键字参数可以通过kwargs传入。

4. 什么是Worker？

Worker是Job的消费者，简单来说，你把很多Job加入到了Queue，谁来运行这些Job呢？当然就是Worker啦，你也可以看出Worker必须是独立的进程，这个进程从Redis里面获取Job的信息（包括函数、参数等等），然后运行这个Job。

启动Worker进程也很简单： 

$ rq worker low high default
16:56:02 RQ worker 'rq:worker:s2.6443' started, version 0.8.1                                            
16:56:02 Cleaning registries for queue: low         
16:56:02 Cleaning registries for queue: high        
16:56:02 Cleaning registries for queue: default     
16:56:02                                            
16:56:02 *** Listening on low, high, default...

后面的三个参数low、high、default，就是这个Worker将要运行哪些Queue里面的Job，这个顺序很重要，排在前面的Queue里面的Job将优先被运行。

5. 一个完整的例子


jobs.py
[root@iZ2ze66bhrbxkc31nljgjnZ ~]# more jobs.py
import requests
import redis
from rq import Queue
import pymysql




def count_words(url):
    return len(requests.get(url).text.split())
    


def recover_to_db(sql, dbinfo):
    dbinfo['charset'] = 'utf8mb4'
    dbinfo['autocommit'] = True
    dbconn = pymysql.Connect(**dbinfo)
    dbconn.autocommit(1)


    cur = dbconn.cursor()
    cur.execute(sql)
    dbconn.close()





app.py 

from jobs import count_words,recover_to_db
import requests
import redis
from rq import Queue
import time


def run():
    redis_conn = redis.Redis()
    q = Queue(connection=redis_conn)
    for  i in range(92,99):
        j = q.enqueue(recover_to_db, 'insert into `tt`(`id`) VALUES (%d);' % i,{'host': '47.93.243.162', 'password': 'ESBecs00', 'port': 3306, 'user': 'root','db':'te
st'})
    #j = q.enqueue(, 'https://www.baidu.com')
    #print(j.result)
    #time.sleep(3)
    #print(j.result)
    
if __name__ == '__main__':
    run()

启动Worker： 

$ rq worker  
 
  
运行：
 
  
$ python app.py
 
 
 
 
 
  
 在查看rq work端的日志 
  
 
  
 
   
  1.  17:08:53 default: jobs.recover_to_db('insert into `tt`(`id`) VALUES (92);', {'host': '47.93.243.162', 'password': 'ESBecs00', 'db': 'test', 'port': 3306, 'user': 'root'}) (de54dfcb-c2c0-4d7e-a082-273ae40e5316)
     
  2.  17:08:53 default: Job OK (de54dfcb-c2c0-4d7e-a082-273ae40e5316)
  3.  17:08:53 Result is kept for 500 seconds
  4.  17:08:53 
  5.  17:08:53 *** Listening on default...
  6.  17:08:53 default: jobs.recover_to_db('insert into `tt`(`id`) VALUES (93);', {'host': '47.93.243.162', 'password': 'ESBecs00', 'db': 'test', 'port': 3306, 'user': 'root'}) (46fb8ef2-7ad6-4369-8377-80e728fa3129)
  7.  17:08:53 default: Job OK (46fb8ef2-7ad6-4369-8377-80e728fa3129)
  8.  17:08:53 Result is kept for 500 seconds
  9.  17:08:53 
  10.  17:08:53 *** Listening on default...
  11.  17:08:53 default: jobs.recover_to_db('insert into `tt`(`id`) VALUES (94);', {'host': '47.93.243.162', 'password': 'ESBecs00', 'db': 'test', 'port': 3306, 'user': 'root'}) (334ef4da-ea8f-4ec1-8c82-952fa9300f6f)
  12.  17:08:53 default: Job OK (334ef4da-ea8f-4ec1-8c82-952fa9300f6f)
  13.  17:08:53 Result is kept for 500 seconds
  14.  17:08:53 
  15.  17:08:53 *** Listening on default...
  16.  17:08:53 default: jobs.recover_to_db('insert into `tt`(`id`) VALUES (95);', {'host': '47.93.243.162', 'password': 'ESBecs00', 'db': 'test', 'port': 3306, 'user': 'root'}) (e7fcbed6-0d75-40ff-ae89-f135d1f6fb45)
  17.  17:08:53 default: Job OK (e7fcbed6-0d75-40ff-ae89-f135d1f6fb45)
  18.  17:08:53 Result is kept for 500 seconds
  19.  17:08:53 
  20.  17:08:53 *** Listening on default...
  21.  17:08:53 default: jobs.recover_to_db('insert into `tt`(`id`) VALUES (96);', {'host': '47.93.243.162', 'password': 'ESBecs00', 'db': 'test', 'port': 3306, 'user': 'root'}) (3642c31a-c2af-4cdc-99b8-773c00d1dbd5)
  22.  17:08:53 default: Job OK (3642c31a-c2af-4cdc-99b8-773c00d1dbd5)
  23.  17:08:53 Result is kept for 500 seconds
  24.  17:08:53 
  25.  17:08:53 *** Listening on default...
  26.  17:08:53 default: jobs.recover_to_db('insert into `tt`(`id`) VALUES (97);', {'host': '47.93.243.162', 'password': 'ESBecs00', 'db': 'test', 'port': 3306, 'user': 'root'}) (99c4fdf3-1c41-494b-bb70-b287f59cf452)
  27.  17:08:54 default: Job OK (99c4fdf3-1c41-494b-bb70-b287f59cf452)
  28.  17:08:54 Result is kept for 500 seconds
  29.  17:08:54 
  30.  17:08:54 *** Listening on default...
  31.  17:08:54 default: jobs.recover_to_db('insert into `tt`(`id`) VALUES (98);', {'host': '47.93.243.162', 'password': 'ESBecs00', 'db': 'test', 'port': 3306, 'user': 'root'}) (842ea53a-feba-4f54-af77-ef191a28014b)
  32.  17:08:54 default: Job OK (842ea53a-feba-4f54-af77-ef191a28014b)
  33.  17:08:54 Result is kept for 500 seconds
  34.  17:08:54 
  35.  17:08:54 *** Listening on default... 
 
  
 
  
 
  
 参考： 
  
 https://segmentfault.com/a/1190000010654775 
  
 
 
 
 
 
 
 来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29096438/viewspace-2154300/，如需转载，请注明出处，否则将追究法律责任。 
 

 

转载于:http://blog.itpub.net/29096438/viewspace-2154300/

                

        

        




    

  


    

      

        

            

              
                
                  cml2016
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
使用 Python RQ 执行后台任务的编程

				
			

			

				

					DevGOOD的博客
				

				

					09-26
					
					297
					
				

			

		

		

			
				
通过将任务添加到队列中，并启动一个或多个工作进程来执行任务，我们可以实现高效的后台任务处理。Python RQ库提供了一个简单的界面来管理任务队列和工作进程，并且与Redis的集成使得任务的执行更加可靠和高效。在使用Python RQ执行后台任务之前，我们需要定义要执行的任务函数。在上述代码中，我们使用Worker类创建一个工作进程，并将队列作为参数传递给它。在使用Python RQ执行后台任务之前，我们需要创建和配置一个RQ队列。一旦我们有了任务函数和RQ队列，我们可以将任务添加到队列中以进行后台执行。

			
		

	



                

            
              



	

		

			

				
					
python使用redis队列_python下使用redis构造一个简单的队列（翻译）

				
			

			

				

					weixin_30865253的博客
				

				

					12-28
					
					607
					
				

			

		

		

			
				
本文展示了如何使用redis构建一个简单的多生产者，多消费者队列并且提供类似python标准库queue一样的接口。你可以使用这个队列方便的从多个进程或者耗时的计算到多个消费者进程之间共享数据。 我们使用redis列表来保存数据。redis列表按照字符串插入的顺序保本文展示了如何使用redis构建一个简单的多生产者，多消费者队列并且提供类似python标准库queue一样的接口。你可以使用这个队列...

			
		

	



              


  
              

                


	

		

			

				
					
chatgpt赋能python：Python-RQ简介

				
			

			

				

					weixin_45566993的博客
				

				

					05-25
					
					591
					
				

			

		

		

			
				
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。

			
		

	





	

		

			

				
					
 Python极其简单的分布式异步作业管理系统RQ入门

				
			

			

				

					weixin_33935505的博客
				

				

					08-14
					
					287
					
				

			

		

		

			
				
Python极其简单的分布式异步作业管理系统RQ入门
1. 什么是Job？
Job直译过来就是工作，可以是任意的Python函数，你可以把你想要异步执行的任务都写成Job函数。简而言之，Job就是你想执行的操作。例如，我想统计任意网页的字符数量，可以写一个这样的Job函数：
import requests

def count_words...

			
		

	



		

			
		



	

		

			

				
					
探索Python的异步之美：rq库的神奇之旅

				
			

			

				

					AIGC搞起
				

				

					08-05
					
					1029
					
				

			

		

		

			
				
rq是一个Python库，它允许你将任务排队并异步执行。它使用Redis作为后端存储，这意味着它具有快速、持久化和可扩展的特点。通过rq，你可以轻松地将任务分配给工作进程，而无需担心任务的执行顺序或状态。rq是一个强大而灵活的Python库，它利用Redis的高性能特性，为异步任务处理提供了一个简单而有效的解决方案。通过本文的介绍，你应该已经了解了如何安装、使用rq，以及如何在不同场景下应用它。记住，异步编程可以极大地提高你的应用性能，而rq则是实现这一目标的得力助手。

			
		

	





	

		

			

				
					
pythonrq模块_使用 Python RQ 的 Python 执行后台任务

				
			

			

				

					weixin_39625337的博客
				

				

					12-11
					
					315
					
				

			

		

		

			
				
目录RQ (Redis Queue) 可以让 Heroku 平台上的 Python 应用轻松的执行后台任务，RQ 使用 Redis 作为队列存储，因此要使用 RQ 之前必须配置应用程序然后启动并运行一个工作进程。安装 RQ可使用 pip 命令来安装 RQ 以及其依赖的库$ pip install rqDownloading/unpacking rqDownloading rq-0.1.2.tar....

			
		

	





	

		

			

				
					
python分布式 集群_python分布式框架rq的使用

				
			

			

				

					weixin_39929254的博客
				

				

					11-29
					
					238
					
				

			

		

		

			
				
RedisQueue是一款轻量级的分布式异步任务队列调度框架，基于redis数据库作为broker，生产端将任务job存储到redis数据库中，消费端监听队列并取出任务执行。1.基础架构rq框架使用前需要安装rq库，使用pip安装即可：pip install rq1.1 生产者生产者将任务发送到指定redis的指定队列中，job.py：import requestsfrom rq import Q...

			
		

	





	

		

			

				
					
rq 消息队列(python)

				
			

			

				

					_Tsun 的博客
				

				

					12-26
					
					6214
					
				

			

		

		

			
				
0.简介
RQ (Redis Queue)是一个简单的Python库，用于队列任务并在后台与工人（worker）一起处理它们。它由Redis提供支持，旨在降低入门门槛。它可以轻松集成到您的Web堆栈中。
RQ 要求 Redis >= 3.0.0.
开始
首先，运行Redis服务。你可以使用现有的。将任务放在队列中，你不必执行任何特殊操作，只需定义一般冗长或阻塞的函数：
import requ...

			
		

	





	

		

			

				
					
【python学习】深入掌握 Python RQ 任务队列库：全面处理异步任务的实战指南

					
最新发布

				
			

			

				

					m0_54007171的博客
				

				

					09-12
					
					895
					
				

			

		

		

			
				
`rq` 是基于 Redis 的 Python 任务队列库，用于处理异步任务。它能帮助开发者将繁重的后台任务交由独立进程执行，从而提高系统性能。在复杂项目中，任务的超时、重试、定时执行、依赖关系以及队列优先级等功能尤为重要。本文将全面介绍 `rq` 的常用和高级功能，帮助你在项目中灵活运用这些功能，确保异步任务的高效执行。


			
		

	





	

		

			

				
					
RQ（Redis Queue）是一个Python的简单作业队列-python

				
			

			

				

					06-18
				

			

		

		

			
				
RQ（Redis Queue）是一个简单的Python库，用于对作业进行排队并与worker在后台进行处理。 它由Redis支持，其设计目的是降低进入门槛。 它应该轻松集成到您的Web堆栈中。 RQ（Redis Queue）是一个简单的 Python 库，...

			
		

	





	

		

			

				
					
Python任务队列库rq-0.8.0版本发布

				
			

			

				

					
				

			

		

		

			
				
rq是一个用于任务队列处理的Python库。  2. RQ（Redis Queue）简介：  RQ是一个简单的Python作业队列，基于Redis实现。它利用Redis的数据结构，可以轻松地在Python中添加后台任务。RQ的特点包括轻量级、易于安装和...

			
		

	





	

		

			

				
					
Python-Python中的分布式异步socket架构

				
			

			

				

					08-10
				

			

		

		

			
				
Python中的分布式异步socket架构

			
		

	





	

		

			

				
					
python分布式任务调度_Python使用multiprocessing实现一个最简单的分布式作业调度系统...

				
			

			

				

					weixin_39939530的博客
				

				

					12-03
					
					372
					
				

			

		

		

			
				
mutilprocess像线程一样管理进程，这个是mutilprocess的核心，他与threading很是相像，对多核CPU的利用率会比threading好的多。介绍Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个机器的多个进程中，依靠网络通信。想到这，就在想是不是可以使用此...

			
		

	





	

		

			

				
					
pythonrq模块_Python RQ 任务队列中的队列 ( Queue )

				
			

			

				

					weixin_39672979的博客
				

				

					12-11
					
					726
					
				

			

		

		

			
				
本来上一章节 Python RQ 的运行流程 要学习队列和初始化的问题，但是，上一章节偏着偏着就将运行流程去了所以，无论如何，本章节我们必须将 RQ 中队列学习完队列初始化前几章节，我们使用的都是默认的队列，也就是除了 Redis 连接外，不传递额外参数来创建一个队列q =  q = Queue(connection=Redis())实际上，Queue 可以接受很多参数，第一个参数 name 用于...

			
		

	





	

		

			

				
					
python—Celery异步分布式

				
			

			

				

					weixin_33834075的博客
				

				

					11-16
					
					108
					
				

			

		

		

			
				
一、Celery异步分布式

Celery 是一个python开发的异步分布式任务调度模块，是一个消息传输的中间件，可以理解为一个邮箱，每当应用程序调用celery的异步任务时，会向broker传递消息，然后celery的worker从中取消息
Celery 用于存储消息以及celery执行的一些消息和结果

对于brokers，官方推荐是rabb...

			
		

	





	

		

			

				
					
【Python】轻量级分布式任务调度系统-RQ

				
			

			

				

					cojm55771的博客
				

				

					09-06
					
					1349
					
				

			

		

		

			
				
一 前言 
 Redis Queue 一款轻量级的P分布式异步任务队列，基于Redis作为broker，将任务存到redis里面，然后在后台执行指定的Job。就目前而言有三套成熟的工具celery，huey ，rq 。...

			
		

	





	

		

			

				
					
探索 `rq`：一个轻量级的 Python 轮询队列库

				
			

			

				

					gitblog_00076的博客
				

				

					04-10
					
					576
					
				

			

		

		

			
				
探索 rq：一个轻量级的 Python 轮询队列库
去发现同类优质开源项目:https://gitcode.com/
在现代软件开发中，异步处理和任务调度是提高系统性能和可扩展性的关键因素。【项目链接】向我们引入了一个名为 rq 的小巧而强大的 Python 库，它提供了一个简单易用的任务队列解决方案，以帮助开发者轻松地管理后台任务。
项目简介
rq（发音为 "rek-ue"）...

			
		

	





	

		

			

				
					
python爬虫scrapy入门看这篇就够了_Python网络爬虫4 - scrapy入门

				
			

			

				

					weixin_39977136的博客
				

				

					11-26
					
					221
					
				

			

		

		

			
				
scrapy作为一款强大的爬虫框架，当然要好好学习一番，本文便是本人学习和使用scrapy过后的一个总结，内容比较基础，算是入门笔记吧，主要讲述scrapy的基本概念和使用方法。scrapy framework首先附上scrapy经典图如下：scrapy框架包含以下几个部分Scrapy Engine 引擎Spiders 爬虫Scheduler 调度器Downloader 下载器Item Pipel...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值